Bot invisible??

[Suede]

Bonjour,
Google est en train de crwaler mon site.
Le probleme est qu'il crawle des liens qu'il ne peut pas encore connaitre :

Sur une page, un lien a été rajouté ce matin. Le lien comporte un parametre dans l'url qui indique la page d'ou il vient.
Google a crawlé dans la journée la nouvelle page sans que le googlebot soit passé par la page ou est placé le lien sortant. je ne l'ai pas vu sur les deux script que j'utilise pour suivre les moteurs (le premier marche avec l'ip, le deuxieme avec le use-agent).

Page ou est placé le lien sortant : membres.lycos.fr/suede/comment_photo.php
Lien sortant crawlé : membres.lycos.fr/suede/show_photos.php?id_photo=310&main_back=photo10
le photo10 indique que l'adresse vient obligatoirement de la page membres.lycos.fr/suede/comment_photo.php qui n'apas été crawlée.

Donc question : comment a t'il trouvé l'adresse : un bot fantome ?

François

 

[hetzeld]

Salut François,

Si quelqu'un a accédé cette page sous I.E + toolbar, ne cherche plus :wink:

Dan

 

[herveG]

Es-tu en train de dire que pour provoquer l envie d un bot de passer sur de nouvelles pages, il suffirait d´aller surfer ces quelques pages sous IE et toolbar ???
a+
Hervé

 

[Nitou]

Bonne question !?

 

[cdpdf]

moi mon site est aussi entrain de se faire crwaler + de 170 page depuis se matin alors qu'il n'y en a que 220 dans l'index de google

 

[Nitou]

350 pages crawlés depuis ce matin pour moi

 

[herveG]

N oubliez pas ma question en haut....!!! je cherche désespérément un moyen de redonner l idée a un freshbot de revenir passer sur un de mes sites......

 

[hetzeld]

N oubliez pas ma question en haut....!!! je cherche désespérément un moyen de redonner l idée a un freshbot de revenir passer sur un de mes sites......

Je n'oublie pas ta question mais il m'arrive de faire autre chose que de surfer sur WRI :lol:
C'est quasi-certain, si tu as choisi d'afficher le PR ! Google a donc connaissance de toutes les pages que tu vois.

Dan

 

[cdpdf]

je suis en train de faire le test avec une page qui n'a aucun lien et je me rend depuis debut juin et en plus je vote pour cette page mais le googlebot n'est pas encore venu

donc cela m'éttonerais que cela est du au fait que google analyse ce que les gens vont voir

mais mon test n'est pas encore finit!!!!!!!!!!

 

[herveG]

N oubliez pas ma question en haut....!!! je cherche désespérément un moyen de redonner l idée a un freshbot de revenir passer sur un de mes sites......

Je n'oublie pas ta question mais il m'arrive de faire autre chose que de surfer sur WRI :lol:

Dan

pas de reproche...!!! j ai juste eu peur que des messages du type "mon site se fait crawler 14 511 236 de fois depuis deux heures" ne viennent a faire oublier ma question...!!!

donc, je retiens ta remarque....et je vais aller faire un petit tour sur mes nouvelles pages ce soir.......!! héhéhé ...

a+
hervé

 

[hetzeld]

Je n'ais pas dit que cela faisait venir le bot, simplement que cela faisait connnaître la page à Google... nuance ! :wink:

 

[herveG]

Donc finalement pas plus que si j utilise le formulaire "add url" ? zut pas de remède miracle....!!

 

[WebRankInfo]

Salut François,

Si quelqu'un a accédé cette page sous I.E + toolbar, ne cherche plus :wink:

Dan

"ne cherche plus" : je ne serais pas aussi catégorique que toi. J'ai déjà eu des sites entiers non indexés dans Google (car je ne le souhaitais pas), mais sans mettre de robots.txt ou autre. Meme en les visitant plusieurs mois avec la Toolbar + PR activé, Google ne les a jamais indexés.
A mon avis il y a une autre raison...

 

[hetzeld]

Salut François,

Si quelqu'un a accédé cette page sous I.E + toolbar, ne cherche plus :wink:

Dan

"ne cherche plus" : je ne serais pas aussi catégorique que toi. J'ai déjà eu des sites entiers non indexés dans Google (car je ne le souhaitais pas), mais sans mettre de robots.txt ou autre. Meme en les visitant plusieurs mois avec la Toolbar + PR activé, Google ne les a jamais indexés.
A mon avis il y a une autre raison...

Olivier,

Faut lire tout le fil avant de répondre.... Notamment le message se trouvant 2 places avant le tien qui dit:

Je n'ais pas dit que cela faisait venir le bot, simplement que cela faisait connnaître la page à Google... nuance ! :wink:

Donc ce n'est pas aussi catégorique que tu prétends... 8)

Dan

 

[WebRankInfo]

j'avais bien lu jusqu'au bout, mais je trouvais que tu cloturais vite la question par "ne cherche plus" ;-)
sin on revient à la question de François, tu penses que Google a complété l'indexation des pages de son site grâce aux infos recueillies dans la Toolbar ?
moi je n'ai pas encore rencontré d'exemple qui prouve cette théorie, mais les choses changent vite avec Google, surtout ces derniers mois !

 

[Guig2]

moi je n'ai pas encore rencontré d'exemple qui prouve cette théorie, mais les choses changent vite avec Google, surtout ces derniers mois !

Moi ca m'est arrivé sur un site dont je me sers pour faire des tests. Il s'est retrouvé dans google sans que je demande rien et ca date de quelques mois déjà (2 ou 3)

 

[hetzeld]

Il y a eu déjà plusieurs cas identifiés sur Webmasterworld. Cela avait même été "confirmé" (comprendre "non réfuté") par GooleGuy. :wink:

Dan

 

[sky]

Ben tout de meme, google est une bete tres etrange ...

Y'a des bouquin dessus?

J'en ai chercher et pas trouver dommage

Apres tout ce site est plutot bien

lol

Sky

 

[herveG]

Ce site n´est pas "plutot bien", il est mieux qu un livre.....puisque tu peux y demander des choses qui n y sont pas encore.......!!

 

[Suede]

j'avais bien lu jusqu'au bout, mais je trouvais que tu cloturais vite la question par "ne cherche plus" ;-)
sin on revient à la question de François, tu penses que Google a complété l'indexation des pages de son site grâce aux infos recueillies dans la Toolbar ?
moi je n'ai pas encore rencontré d'exemple qui prouve cette théorie, mais les choses changent vite avec Google, surtout ces derniers mois !

Je pencherai plutot pour un probleme chez multimania-Lycos qui m'a fait louper la page.

François

 

[herveG]

salut,

je ne sais pas si c est un hasard, mais hier j ai installé la nouvelle googlebar. j ai activé "autorisé a envoyer l url courante a google". je suis ensuite allé sur mon site. j ai voté "vote for this page" et comme par hasard, ce matin, un freshbot google est passé sur ma page d index....!! il a pas été plus loin par contre.

pourtant il n etais plus passé depuis un bon moment.....!!

A+
Hervé

 

[str]

Salut,

Si la googlebar réagit aussi bien, ça peu devenir très intéressant et éviter de se présenter sur addurl et faire gagner du temps et peu être de la pertinence ?

ça semble être une bonne base pour faire des tests.

qu'en pensez-vous ?

 

[WebRankInfo]

pour faire des tests, oui. Car je ne pense pas que ça marche aussi simplement...

 

[herveG]

Effectivement il reste un mystere. le bot est venu aussitot mais juste sur ma page d accueil. hors, j avais effetué la meme méthode sur 2 ou 3 autres pages, et elle n ont pas été visitées apparemment.....

c est peutetre juste un truc du genre " va voir cette page si tu la connais, et si tu ne la connais pas ajoute la a la base des sites a full-crwaler la prochaine fois, si tu la connais, refresh le cache et rentre à la maison"......

a+
hervé

 

[Digit]

Ou tout simplement un coup du hasard, juste une coïncidence

 

[MagiX]

Ou tout simplement un coup du hasard, juste une coïncidence

Non non, a mon avis, notre Lemmings prefere a raison ! Et encore est-il poli en relatant le monologue, car Google traite particulierement durement ses robots et la VO du dialogue relate par Herve de Poitiers est la version non interdite au moins de 10 ans par le CSA :wink: :lol:

C'est rien, juste la chaleure... Bonne soiree !

 

[herveG]

oui, oui, je suis resté soft parce qu´on était en pleine journée....il y a des jeunes ici....!!

a+
Hervé

ps : enfin, tout ca ne nous dis pas pourquoi les bots s arretent aux premieres pages, et pourquoi il n y a plus de deep, etc. et pourquoi une de mes pages n arrive plus à donner envie aux freshbot de repasser.....

 

[Guig2]

oui, oui, je suis resté soft parce qu´on était en pleine journée....il y a des jeunes ici....!!

Fais gaffe tu pourrais te faire appeler Papi :!: