Le googlebot y pète les plombs chez moi ?

WRInaute passionné
Bonjour

un googlebot est passé me voir tout à l'heure (notez, j'en suis content, j'aime quand il vient me faire un petit coucou à l'occasion). Seulement là, heu, chais pô trop ce qu'il est venu faire, peut être était il avec son pote MSN et qu'ils ont un peu trop arrosé leurs retrouvailles, parceque, bon, voyez les logs ci-dessous... Il semblerait que le googlebot utilise mon site (celui dans mon www) pour faire des recherches, les logs correspondent à la fonction rechercher de mon www (sous joomla, j'ai tout modifié pour que ce ne soit pas clickable)

Heu chais pô, mais si google il fait ses recherches chez moi, je n'aurai plus de bande passante en 1/2 microseconde

z'avez déjà eu des comportements similaires chez vous

crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:38:23 +0100] "GET /index.php?Itemid=5&option=com_search&ordering=newest&searchphrase=any&searchword=estimation&submit=Search HTTP/1.1" 200 7563 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:43:33 +0100] "GET /index.php?Itemid=5&option=com_search&ordering=newest&searchphrase=any&searchword=merci&submit=Search HTTP/1.1" 200 8089 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:41:24 +0100] "GET /index.php?Itemid=5&option=com_search&ordering=newest&searchphrase=any&searchword=subcategories&submit=Search HTTP/1.1" 200 7437 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:43:05 +0100] "GET /index.php?Itemid=5&Itemid=5&option=com_search&option=com_search&searchword=necessitates HTTP/1.1" 200 7397 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:38:53 +0100] "GET /index.php?Itemid=5&option=com_search&ordering=newest&searchphrase=any&searchword=particuliar&submit=Search HTTP/1.1" 200 7566 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:40:12 +0100] "GET /index.php?Itemid=5&option=com_search&ordering=newest&searchphrase=any&searchword=cartography&submit=Search HTTP/1.1" 200 7408 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:40:57 +0100] "GET /index.php?Itemid=5&Itemid=5&option=com_search&option=com_search&searchword=overheat HTTP/1.1" 200 7559 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:38:38 +0100] "GET /index.php?Itemid=5&Itemid=5&option=com_search&option=com_search&searchword=cms HTTP/1.1" 200 8013 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:39:11 +0100] "GET /index.php?Itemid=5&Itemid=5&option=com_search&option=com_search&searchword=ayant HTTP/1.1" 200 7492 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:39:28 +0100] "GET /index.php?Itemid=5&Itemid=5&option=com_search&option=com_search&searchword=individua HTTP/1.1" 200 7356 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:41:55 +0100] "GET /index.php?Itemid=5&option=com_search&ordering=newest&searchphrase=any&searchword=incrased&submit=Search HTTP/1.1" 200 7417 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
 
WRInaute accro
Ce genre d'URL, c'est tout le charme de Joomla. :lol:

Faudrait ptêt penser à l'URL rewriting pour limiter les dégats.

Jean-Luc (fan de WordPress)
 
WRInaute accro
C'est vrai. Peut-être que ça n'a rien à voir, mais ce que je voulais dire, c'est:

Joomla => URL avec 6 variables => difficile à gérer pour toi et pour Google.

Jean-Luc
 
WRInaute passionné
jeanluc a dit:
Joomla => URL avec 6 variables => difficile à gérer pour toi et pour Google.

J'utilise joomsef, pour tous les articles, ici c'est la fonction recherche interne pour laquelle joomsef est désactivé.
 
WRInaute accro
tofm2 a dit:
jeanluc a dit:
Joomla => URL avec 6 variables => difficile à gérer pour toi et pour Google.

J'utilise joomsef, pour tous les articles, ici c'est la fonction recherche interne pour laquelle joomsef est désactivé.

Et un chtit robots.txt pour interdire à Google l'accès à ton formulaire de recherche ?
 
WRInaute impliqué
Pour clarifier :
1/ Si tu n'as pas de lien cliquable vers tes résultats de recherche, googlebot ne poste PAS de recherche dans ton formulaire sur ton site ;
2/ Googlebot reste "relativement" respectueux de la bande passante avec un 25/50 requêtes par minute : est-ce que c'est le cas pour toi ?
3/ Un webmaster lambda, appelons-le "André", peut simuler Googlebot dans son User-agent pour te tromper.
4,5,6... /

==> A mon piètre avis (AMPA), tu es juste victime soit d'un aspirateur de site sauvage, soit d'un robot testeur.
 
WRInaute passionné
UsagiYojimbo a dit:
Et un chtit robots.txt pour interdire à Google l'accès à ton formulaire de recherche ?
Boarf, si il s'agit réellement de ggbot, je ne vois pas l'intérêt, gg est ma principale source de visiteurs. GGbot, je lui met plutôt un tapis rouge sous les pseudopodes.

blman a dit:
j'allais le dire Tilt... Je suis d'accord avec toi. Rien ne dit que c'est vraiment Googlebot.
c'est justement là qu'est le problème...
En fait, il s'agit VRAIMENT de gougeule
dans le post initial, je disais que la visite venait de crawl-WW-XX-YY-ZZ.googlebot.com, mais en fait c'est de crawl-66-249-65-107.googlebot.com qu'il s'agit, or, les IP correspondent après un pitit whois. rien à voir avec le referrer.

Tilt a dit:
2/ Googlebot reste "relativement" respectueux de la bande passante avec un 25/50 requêtes par minute : est-ce que c'est le cas pour toi ?
Oui oui, absolument, il n'y a pas de problème avec ça, j'ai de la marge, de plus, dans les outils pour webmaster, on peut régler cette vitesse. pas de problème. Non, ce que je truve bizarre, c'est qu'il fait de réelles requètes, qu'il recherche des mots clés TRES précis, c'est la conclusion.

la liste des mots clés qu'il recherche grâce à l'outil de recherche interne à joomla :
"estimation merci subcategories necessitates particuliar cartography overheat cms ayant individua increase" c'est pô un secret d'état, on la trouve en regardant les logs d'un peu plus pres, pis j'ai posté le log, alors.

Non, ce que je trouve étonnant, c'est que gougeul connaît très bien toutes les pages de mon site qui comporte ces mots clés, vu ce qu'il m'indexe (crawltrack m'indique qu'il a visité environ 5100 pages sur mon site, plusieurs fois chacune d'ailleurs) alors, ce que je ne m'explique pas c'est pourquoi il utilise le moteur de recherche interne à joomla pour retrouver ces mots clés. C'est vrai quoi, en plus le moteur Joomla n'a rien à voir en pertinence avec celui de Gougeul.

chais pô, avez vous des comportements similaires dans vos logs ??
 
WRInaute accro
tofm2 a dit:
UsagiYojimbo a dit:
Et un chtit robots.txt pour interdire à Google l'accès à ton formulaire de recherche ?
Boarf, si il s'agit réellement de ggbot, je ne vois pas l'intérêt, gg est ma principale source de visiteurs.

Peut être bien, mais une page de recherche, quelle en est la valeur ajoutée pour le référencement du site ? C'est une page qui n'a aucun contenu hormis un moteur de recherche, et qui n'est normalement utilisée qu'après une action utilisateur...
 
Discussions similaires
Haut