Le googlebot y pète les plombs chez moi ?

Discussion dans 'Crawl et indexation Google, sitemaps' créé par tofm2, 14 Novembre 2007.

  1. tofm2
    tofm2 WRInaute passionné
    Inscrit:
    9 Avril 2005
    Messages:
    1 392
    J'aime reçus:
    0
    Bonjour

    un googlebot est passé me voir tout à l'heure (notez, j'en suis content, j'aime quand il vient me faire un petit coucou à l'occasion). Seulement là, heu, chais pô trop ce qu'il est venu faire, peut être était il avec son pote MSN et qu'ils ont un peu trop arrosé leurs retrouvailles, parceque, bon, voyez les logs ci-dessous... Il semblerait que le googlebot utilise mon site (celui dans mon www) pour faire des recherches, les logs correspondent à la fonction rechercher de mon www (sous joomla, j'ai tout modifié pour que ce ne soit pas clickable)

    Heu chais pô, mais si google il fait ses recherches chez moi, je n'aurai plus de bande passante en 1/2 microseconde

    z'avez déjà eu des comportements similaires chez vous

    crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:38:23 +0100] "GET /index.php?Itemid=5&option=com_search&ordering=newest&searchphrase=any&searchword=estimation&submit=Search HTTP/1.1" 200 7563 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
    crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:43:33 +0100] "GET /index.php?Itemid=5&option=com_search&ordering=newest&searchphrase=any&searchword=merci&submit=Search HTTP/1.1" 200 8089 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
    crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:41:24 +0100] "GET /index.php?Itemid=5&option=com_search&ordering=newest&searchphrase=any&searchword=subcategories&submit=Search HTTP/1.1" 200 7437 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
    crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:43:05 +0100] "GET /index.php?Itemid=5&Itemid=5&option=com_search&option=com_search&searchword=necessitates HTTP/1.1" 200 7397 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
    crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:38:53 +0100] "GET /index.php?Itemid=5&option=com_search&ordering=newest&searchphrase=any&searchword=particuliar&submit=Search HTTP/1.1" 200 7566 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
    crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:40:12 +0100] "GET /index.php?Itemid=5&option=com_search&ordering=newest&searchphrase=any&searchword=cartography&submit=Search HTTP/1.1" 200 7408 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
    crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:40:57 +0100] "GET /index.php?Itemid=5&Itemid=5&option=com_search&option=com_search&searchword=overheat HTTP/1.1" 200 7559 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
    crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:38:38 +0100] "GET /index.php?Itemid=5&Itemid=5&option=com_search&option=com_search&searchword=cms HTTP/1.1" 200 8013 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
    crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:39:11 +0100] "GET /index.php?Itemid=5&Itemid=5&option=com_search&option=com_search&searchword=ayant HTTP/1.1" 200 7492 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
    crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:39:28 +0100] "GET /index.php?Itemid=5&Itemid=5&option=com_search&option=com_search&searchword=individua HTTP/1.1" 200 7356 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
    crawl-www-xxx-yyy-zzz.googlebot.com www;monchtitwww.eu - [14/Nov/2007:17:41:55 +0100] "GET /index.php?Itemid=5&option=com_search&ordering=newest&searchphrase=any&searchword=incrased&submit=Search HTTP/1.1" 200 7417 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
     
  2. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Ce genre d'URL, c'est tout le charme de Joomla. :lol:

    Faudrait ptêt penser à l'URL rewriting pour limiter les dégats.

    Jean-Luc (fan de WordPress)
     
  3. tofm2
    tofm2 WRInaute passionné
    Inscrit:
    9 Avril 2005
    Messages:
    1 392
    J'aime reçus:
    0
    mais pourquoi donc, que veux tu dire par là. l'URL rewriting n'a rien à voir avec ça.
     
  4. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    C'est vrai. Peut-être que ça n'a rien à voir, mais ce que je voulais dire, c'est:

    Joomla => URL avec 6 variables => difficile à gérer pour toi et pour Google.

    Jean-Luc
     
  5. tofm2
    tofm2 WRInaute passionné
    Inscrit:
    9 Avril 2005
    Messages:
    1 392
    J'aime reçus:
    0
    J'utilise joomsef, pour tous les articles, ici c'est la fonction recherche interne pour laquelle joomsef est désactivé.
     
  6. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 978
    J'aime reçus:
    121
    Et un chtit robots.txt pour interdire à Google l'accès à ton formulaire de recherche ?
     
  7. Tilt
    Tilt WRInaute impliqué
    Inscrit:
    26 Mars 2005
    Messages:
    752
    J'aime reçus:
    0
    Pour clarifier :
    1/ Si tu n'as pas de lien cliquable vers tes résultats de recherche, googlebot ne poste PAS de recherche dans ton formulaire sur ton site ;
    2/ Googlebot reste "relativement" respectueux de la bande passante avec un 25/50 requêtes par minute : est-ce que c'est le cas pour toi ?
    3/ Un webmaster lambda, appelons-le "André", peut simuler Googlebot dans son User-agent pour te tromper.
    4,5,6... /

    ==> A mon piètre avis (AMPA), tu es juste victime soit d'un aspirateur de site sauvage, soit d'un robot testeur.
     
  8. blman
    blman WRInaute accro
    Inscrit:
    5 Septembre 2003
    Messages:
    2 719
    J'aime reçus:
    3
    j'allais le dire Tilt... Je suis d'accord avec toi. Rien ne dit que c'est vraiment Googlebot.
     
  9. tofm2
    tofm2 WRInaute passionné
    Inscrit:
    9 Avril 2005
    Messages:
    1 392
    J'aime reçus:
    0
    Boarf, si il s'agit réellement de ggbot, je ne vois pas l'intérêt, gg est ma principale source de visiteurs. GGbot, je lui met plutôt un tapis rouge sous les pseudopodes.

    c'est justement là qu'est le problème...
    En fait, il s'agit VRAIMENT de gougeule
    dans le post initial, je disais que la visite venait de crawl-WW-XX-YY-ZZ.googlebot.com, mais en fait c'est de crawl-66-249-65-107.googlebot.com qu'il s'agit, or, les IP correspondent après un pitit whois. rien à voir avec le referrer.

    Oui oui, absolument, il n'y a pas de problème avec ça, j'ai de la marge, de plus, dans les outils pour webmaster, on peut régler cette vitesse. pas de problème. Non, ce que je truve bizarre, c'est qu'il fait de réelles requètes, qu'il recherche des mots clés TRES précis, c'est la conclusion.

    la liste des mots clés qu'il recherche grâce à l'outil de recherche interne à joomla :
    "estimation merci subcategories necessitates particuliar cartography overheat cms ayant individua increase" c'est pô un secret d'état, on la trouve en regardant les logs d'un peu plus pres, pis j'ai posté le log, alors.

    Non, ce que je trouve étonnant, c'est que gougeul connaît très bien toutes les pages de mon site qui comporte ces mots clés, vu ce qu'il m'indexe (crawltrack m'indique qu'il a visité environ 5100 pages sur mon site, plusieurs fois chacune d'ailleurs) alors, ce que je ne m'explique pas c'est pourquoi il utilise le moteur de recherche interne à joomla pour retrouver ces mots clés. C'est vrai quoi, en plus le moteur Joomla n'a rien à voir en pertinence avec celui de Gougeul.

    chais pô, avez vous des comportements similaires dans vos logs ??
     
  10. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 978
    J'aime reçus:
    121
    Peut être bien, mais une page de recherche, quelle en est la valeur ajoutée pour le référencement du site ? C'est une page qui n'a aucun contenu hormis un moteur de recherche, et qui n'est normalement utilisée qu'après une action utilisateur...
     
Chargement...
Similar Threads - googlebot pète plombs Forum Date
GoogleBot a peté les plombs Crawl et indexation Google, sitemaps 27 Novembre 2014
Les liens nofollow sont quand même suivis par Googlebot Débuter en référencement 27 Mai 2021
Voir une page (entière) comme Googlebot Développement d'un site Web ou d'une appli mobile 27 Mars 2021
Fréquence passage googlebot Crawl et indexation Google, sitemaps 30 Janvier 2021
Stimuler GoogleBot pour crawler de nouvelles pages Crawl et indexation Google, sitemaps 24 Janvier 2021
Comment augmenter la fréquence de passage de GoogleBot Crawl et indexation Google, sitemaps 10 Décembre 2019
Site inaccessible pour GoogleBot Crawl et indexation Google, sitemaps 21 Octobre 2019
En décembre 2019 changement de l'user agent de Googlebot Crawl et indexation Google, sitemaps 5 Octobre 2019
googlebot crawle des pages inexistantes Crawl et indexation Google, sitemaps 16 Août 2019
Les pages 404 avec googlebot Crawl et indexation Google, sitemaps 14 Juin 2019
Evergreen Googlebot, basé sur Chromium (Chrome open source) Référencement Google 9 Mai 2019
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
GoogleBot scan url inexistante Crawl et indexation Google, sitemaps 17 Avril 2019
feuilles de styles non obtenues par Googlebot Crawl et indexation Google, sitemaps 28 Septembre 2018
Temps de réponse serveur googlebot Développement d'un site Web ou d'une appli mobile 23 Mai 2018
Strikingly et Googlebot : Contenu invisible dans la Search Demandes d'avis et de conseils sur vos sites 3 Avril 2018
Robots.txt ligne génante selon Googlebot votre avis ? Crawl et indexation Google, sitemaps 23 Mai 2017
Impact gestion paramètre url sur Googlebot Crawl et indexation Google, sitemaps 12 Mai 2017
Googlebot et fichier css/ java Débuter en référencement 24 Juin 2016
Googlebot, Cookie et SEO Crawl et indexation Google, sitemaps 20 Mars 2016