| |
|
Voir le sujet précédent :: Voir le sujet suivant
|
| Auteur |
Message |
| |
|
tofm2
WRInaute accro
Inscrit le: 09 Avr 2005
Messages: 1479
Localisation: Reuben el Arkhab
|
 Posté le : Mer Nov 14, 2007 18:54 Sujet du message: Le googlebot y pète les plombs chez moi ? |
|
|
Bonjour
un googlebot est passé me voir tout à l'heure (notez, j'en suis content, j'aime quand il vient me faire un petit coucou à l'occasion). Seulement là, heu, chais pô trop ce qu'il est venu faire, peut être était il avec son pote MSN et qu'ils ont un peu trop arrosé leurs retrouvailles, parceque, bon, voyez les logs ci-dessous... Il semblerait que le googlebot utilise mon site (celui dans mon www) pour faire des recherches, les logs correspondent à la fonction rechercher de mon www (sous joomla, j'ai tout modifié pour que ce ne soit pas clickable)
Heu chais pô, mais si google il fait ses recherches chez moi, je n'aurai plus de bande passante en 1/2 microseconde
z'avez déjà eu des comportements similaires chez vous
crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:38:23 +0100] "GET /index.php?Itemid=5&option=com_search&ordering=newest&searchphrase=any&searchword=estimation&submit=Search HTTP/1.1" 200 7563 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:43:33 +0100] "GET /index.php?Itemid=5&option=com_search&ordering=newest&searchphrase=any&searchword=merci&submit=Search HTTP/1.1" 200 8089 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:41:24 +0100] "GET /index.php?Itemid=5&option=com_search&ordering=newest&searchphrase=any&searchword=subcategories&submit=Search HTTP/1.1" 200 7437 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:43:05 +0100] "GET /index.php?Itemid=5&Itemid=5&option=com_search&option=com_search&searchword=necessitates HTTP/1.1" 200 7397 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:38:53 +0100] "GET /index.php?Itemid=5&option=com_search&ordering=newest&searchphrase=any&searchword=particuliar&submit=Search HTTP/1.1" 200 7566 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:40:12 +0100] "GET /index.php?Itemid=5&option=com_search&ordering=newest&searchphrase=any&searchword=cartography&submit=Search HTTP/1.1" 200 7408 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:40:57 +0100] "GET /index.php?Itemid=5&Itemid=5&option=com_search&option=com_search&searchword=overheat HTTP/1.1" 200 7559 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:38:38 +0100] "GET /index.php?Itemid=5&Itemid=5&option=com_search&option=com_search&searchword=cms HTTP/1.1" 200 8013 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:39:11 +0100] "GET /index.php?Itemid=5&Itemid=5&option=com_search&option=com_search&searchword=ayant HTTP/1.1" 200 7492 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:39:28 +0100] "GET /index.php?Itemid=5&Itemid=5&option=com_search&option=com_search&searchword=individua HTTP/1.1" 200 7356 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:41:55 +0100] "GET /index.php?Itemid=5&option=com_search&ordering=newest&searchphrase=any&searchword=incrased&submit=Search HTTP/1.1" 200 7417 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" |
|
| |
|
 |
jeanluc
WRInaute accro
Inscrit le: 03 Mai 2004
Messages: 2362
Localisation: Bruxelles
|
| Posté le : Mer Nov 14, 2007 19:03 Sujet du message: Le googlebot y pète les plombs chez moi ? |
|
|
Ce genre d'URL, c'est tout le charme de Joomla. 
Faudrait ptêt penser à l'URL rewriting pour limiter les dégats.
Jean-Luc (fan de WordPress) |
|
| |
|
|
tofm2
WRInaute accro
Inscrit le: 09 Avr 2005
Messages: 1479
Localisation: Reuben el Arkhab
|
| Posté le : Mer Nov 14, 2007 19:05 Sujet du message: Le googlebot y pète les plombs chez moi ? |
|
|
| jeanluc a écrit: |
| Faudrait ptêt penser à l'URL rewriting pour limiter les dégats. |
mais pourquoi donc, que veux tu dire par là. l'URL rewriting n'a rien à voir avec ça. |
|
| |
|
|
jeanluc
WRInaute accro
Inscrit le: 03 Mai 2004
Messages: 2362
Localisation: Bruxelles
|
| Posté le : Mer Nov 14, 2007 19:11 Sujet du message: Le googlebot y pète les plombs chez moi ? |
|
|
C'est vrai. Peut-être que ça n'a rien à voir, mais ce que je voulais dire, c'est:
Joomla => URL avec 6 variables => difficile à gérer pour toi et pour Google.
Jean-Luc |
|
| |
|
|
tofm2
WRInaute accro
Inscrit le: 09 Avr 2005
Messages: 1479
Localisation: Reuben el Arkhab
|
| Posté le : Mer Nov 14, 2007 19:21 Sujet du message: Le googlebot y pète les plombs chez moi ? |
|
|
| jeanluc a écrit: |
| Joomla => URL avec 6 variables => difficile à gérer pour toi et pour Google. |
J'utilise joomsef, pour tous les articles, ici c'est la fonction recherche interne pour laquelle joomsef est désactivé. |
|
| |
|
|
UsagiYojimbo
WRInaute accro
Inscrit le: 23 Nov 2005
Messages: 2462
Localisation: Lyon, capitale des Gaules
|
| Posté le : Mer Nov 14, 2007 19:56 Sujet du message: Le googlebot y pète les plombs chez moi ? |
|
|
| tofm2 a écrit: |
| jeanluc a écrit: |
| Joomla => URL avec 6 variables => difficile à gérer pour toi et pour Google. |
J'utilise joomsef, pour tous les articles, ici c'est la fonction recherche interne pour laquelle joomsef est désactivé. |
Et un chtit robots.txt pour interdire à Google l'accès à ton formulaire de recherche ? |
|
| |
|
|
Tilt
WRInaute passionné
Inscrit le: 26 Mar 2005
Messages: 758
|
| Posté le : Mer Nov 14, 2007 20:11 Sujet du message: Le googlebot y pète les plombs chez moi ? |
|
|
Pour clarifier :
1/ Si tu n'as pas de lien cliquable vers tes résultats de recherche, googlebot ne poste PAS de recherche dans ton formulaire sur ton site ;
2/ Googlebot reste "relativement" respectueux de la bande passante avec un 25/50 requêtes par minute : est-ce que c'est le cas pour toi ?
3/ Un webmaster lambda, appelons-le "André", peut simuler Googlebot dans son User-agent pour te tromper.
4,5,6... /
==> A mon piètre avis (AMPA), tu es juste victime soit d'un aspirateur de site sauvage, soit d'un robot testeur.
Dernière édition par Tilt le Mer Nov 14, 2007 20:26; édité 1 fois |
|
| |
|
|
blman
WRInaute accro
Inscrit le: 05 Sep 2003
Messages: 2775
Localisation: Nantes / Laval (France)
|
| Posté le : Mer Nov 14, 2007 20:15 Sujet du message: Le googlebot y pète les plombs chez moi ? |
|
|
| j'allais le dire Tilt... Je suis d'accord avec toi. Rien ne dit que c'est vraiment Googlebot. |
|
| |
|
|
tofm2
WRInaute accro
Inscrit le: 09 Avr 2005
Messages: 1479
Localisation: Reuben el Arkhab
|
| Posté le : Mer Nov 14, 2007 21:12 Sujet du message: Le googlebot y pète les plombs chez moi ? |
|
|
| UsagiYojimbo a écrit: |
| Et un chtit robots.txt pour interdire à Google l'accès à ton formulaire de recherche ? |
Boarf, si il s'agit réellement de ggbot, je ne vois pas l'intérêt, gg est ma principale source de visiteurs. GGbot, je lui met plutôt un tapis rouge sous les pseudopodes.
| blman a écrit: |
| j'allais le dire Tilt... Je suis d'accord avec toi. Rien ne dit que c'est vraiment Googlebot. |
c'est justement là qu'est le problème...
En fait, il s'agit VRAIMENT de gougeule
dans le post initial, je disais que la visite venait de crawl-WW-XX-YY-ZZ.googlebot.com, mais en fait c'est de crawl-66-249-65-107.googlebot.com qu'il s'agit, or, les IP correspondent après un pitit whois. rien à voir avec le referrer.
| Tilt a écrit: |
2/ Googlebot reste "relativement" respectueux de la bande passante avec un 25/50 requêtes par minute : est-ce que c'est le cas pour toi ?
|
Oui oui, absolument, il n'y a pas de problème avec ça, j'ai de la marge, de plus, dans les outils pour webmaster, on peut régler cette vitesse. pas de problème. Non, ce que je truve bizarre, c'est qu'il fait de réelles requètes, qu'il recherche des mots clés TRES précis, c'est la conclusion.
la liste des mots clés qu'il recherche grâce à l'outil de recherche interne à joomla :
"estimation merci subcategories necessitates particuliar cartography overheat cms ayant individua increase" c'est pô un secret d'état, on la trouve en regardant les logs d'un peu plus pres, pis j'ai posté le log, alors.
Non, ce que je trouve étonnant, c'est que gougeul connaît très bien toutes les pages de mon site qui comporte ces mots clés, vu ce qu'il m'indexe (crawltrack m'indique qu'il a visité environ 5100 pages sur mon site, plusieurs fois chacune d'ailleurs) alors, ce que je ne m'explique pas c'est pourquoi il utilise le moteur de recherche interne à joomla pour retrouver ces mots clés. C'est vrai quoi, en plus le moteur Joomla n'a rien à voir en pertinence avec celui de Gougeul.
chais pô, avez vous des comportements similaires dans vos logs ??
Dernière édition par tofm2 le Mer Nov 14, 2007 21:32; édité 2 fois |
|
| |
|
|
UsagiYojimbo
WRInaute accro
Inscrit le: 23 Nov 2005
Messages: 2462
Localisation: Lyon, capitale des Gaules
|
| Posté le : Mer Nov 14, 2007 21:25 Sujet du message: Le googlebot y pète les plombs chez moi ? |
|
|
| tofm2 a écrit: |
| UsagiYojimbo a écrit: |
| Et un chtit robots.txt pour interdire à Google l'accès à ton formulaire de recherche ? |
Boarf, si il s'agit réellement de ggbot, je ne vois pas l'intérêt, gg est ma principale source de visiteurs.
|
Peut être bien, mais une page de recherche, quelle en est la valeur ajoutée pour le référencement du site ? C'est une page qui n'a aucun contenu hormis un moteur de recherche, et qui n'est normalement utilisée qu'après une action utilisateur... |
|
| |
|
|
| |
|
|
|
|
Autres sujets de discussion :
|
|
