GoogleBot se trompe de serveur ?

Discussion dans 'Crawl et indexation Google, sitemaps' créé par jeanluc, 29 Janvier 2005.

  1. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 882
    J'aime reçus:
    0
    Bonjour,

    En examinant mes logs, je viens de constater que, sur un de mes sites, pas mal d'erreurs 404 sont provoquées par des visites de GoogleBot qui recherche sur mon site des fichiers qui se trouvent sur d'autres sites du même hébergeur (sur le même serveur mutualisé).

    GoogleBot est-il à la recherche de "duplicate contents" ou y a-t-il un problème chez l'hébergeur (mais je n'en ai pas l'impression) ? Autre explication ?

    Jean-Luc
     
  2. DISCRET
    DISCRET WRInaute discret
    Inscrit:
    18 Octobre 2004
    Messages:
    169
    J'aime reçus:
    0
    avec un fichier robot.txt, ça avait corrigé le problème chez moi.
     
  3. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 882
    J'aime reçus:
    0
    Que veux-tu dire ? Quel genre de commandes as-tu mises dans le robots.txt ?

    Jean-Luc
     
  4. DISCRET
    DISCRET WRInaute discret
    Inscrit:
    18 Octobre 2004
    Messages:
    169
    J'aime reçus:
    0
    au départ je l'avais laissé vide à la base du site ( juste un fichier vide nommé robots.txt avec un S robots) ce qui est suffisant. Par la suite j'ai rajouté d'autre chose pour interdire certaine page.
     
  5. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 882
    J'aime reçus:
    0
    Merci DISCRET. Ok. Maintenant je comprends ce que tu voulais dire.


    J'aimerais surtout savoir si quelqu'un sait ce que GoogleBot essaie de faire :
    Exemple fictif:
    - mon-site.com, autre-site1.com, autre-site2.com,... sont hébergés à la même adresse IP.
    - GoogleBot demande http://mon-site.com/photo.html qui n'existe pas, mais http://autre-site1.com/photo.html existe.
    - GoogleBot demande aussi http://mon-site.com/repertoire/musique.php qui n'existe pas non plus, mais http://autre-site2.com/repertoire/musique.php existe.
    - etc.

    Avez-vous déjà observé ce phénomène ?

    Jean-Luc
     
  6. DISCRET
    DISCRET WRInaute discret
    Inscrit:
    18 Octobre 2004
    Messages:
    169
    J'aime reçus:
    0
    non je ne connais pas ça.
    Moi c'était simplement l'absence de ce fichier qui me créait cette erreur. Là ça a l'air un peu plus complexe pour moi :)
    Juste comme ça par pur hasard n'aurais-tu pas des liens mal formés qui pourraient rediriger vers cette adresse ?
     
Chargement...
Similar Threads - GoogleBot trompe serveur Forum Date
Comment augmenter la fréquence de passage de GoogleBot Crawl et indexation Google, sitemaps 10 Décembre 2019
Site inaccessible pour GoogleBot Crawl et indexation Google, sitemaps 21 Octobre 2019
En décembre 2019 changement de l'user agent de Googlebot Crawl et indexation Google, sitemaps 5 Octobre 2019
googlebot crawle des pages inexistantes Crawl et indexation Google, sitemaps 16 Août 2019
Les pages 404 avec googlebot Crawl et indexation Google, sitemaps 14 Juin 2019
Evergreen Googlebot, basé sur Chromium (Chrome open source) Référencement Google 9 Mai 2019
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
GoogleBot scan url inexistante Crawl et indexation Google, sitemaps 17 Avril 2019
feuilles de styles non obtenues par Googlebot Crawl et indexation Google, sitemaps 28 Septembre 2018
Temps de réponse serveur googlebot Développement d'un site Web ou d'une appli mobile 23 Mai 2018
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice