GoogleBot crawle des pages partenaires inexistantes

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Bigb06, 30 Avril 2011.

  1. Bigb06
    Bigb06 WRInaute impliqué
    Inscrit:
    21 Mars 2007
    Messages:
    842
    J'aime reçus:
    1
    Bonjour a tous,

    Je voulais savoir si d'autres personnes sont dans le même cas que moi :
    Depuis le 12 avril 2011, GoogleBot crawle des pages qui n'ont jamais existé (Ok ca peut arriver si un site fait un lien vers une page inexistante).
    Mais la ou c'est étrange, c'est que les pages en question sont :
    - partenaires.html
    - partenaires.php
    - sites.php

    et que le problème se répète sur plusieurs de mes sites pour la même période.

    Qu'en pensez-vous? Avous vous le même problème?
    Serait-ce un des signaux recherchés par la maj Panda, a savoir si le site a une page partenaires?
     
  2. carole heinz
    carole heinz WRInaute passionné
    Inscrit:
    28 Février 2007
    Messages:
    2 442
    J'aime reçus:
    0
    c'est très intéressant.
    es-tu sûr qu'il s'agisse de Google?
    peux-tu poster un exemple de log stp?
     
  3. milouchouchou
    milouchouchou WRInaute discret
    Inscrit:
    16 Mars 2003
    Messages:
    73
    J'aime reçus:
    0
    Bonsoir

    J'ai déjà posé la question début de ce mois
    Comme réponse on me parle d'une redirection 301, ce que j'ai fait pour plus de 300 liens, mais la liste continue.
    Je trouve anormal de devoir faire des redirections pour des pages inexistantes et créées par googleboot.
     
  4. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 874
    J'aime reçus:
    72
    Dans GWT, normalement on t'indique les pages sources des 404.
     
  5. fredfan
    fredfan WRInaute accro
    Inscrit:
    2 Juillet 2008
    Messages:
    2 869
    J'aime reçus:
    2
    Ca pourrait être aussi un robot de spam referrer qui fait des liens vers toi parce que tu es dans sa liste par erreur, par négligence), dans une démarche de recherche de proies. Ce genre de robots n'a pas toujours des raisons très cohérentes.
     
  6. finstreet
    finstreet WRInaute accro
    Inscrit:
    10 Juillet 2005
    Messages:
    13 473
    J'aime reçus:
    1
    j'ai eu le pb y'a deux jours. Erreur sur un stripslahes oublié... mais souvent ca arrive et ca vient du site
     
  7. Bigb06
    Bigb06 WRInaute impliqué
    Inscrit:
    21 Mars 2007
    Messages:
    842
    J'aime reçus:
    1
    carole heinz, je pense qu'il s'agit bien de GoogleBot:

    Url de la page : /partenaires.html
    Url de provenance :
    IP du visiteur : 66.249.66.25
    Navigateur : Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
    Heure de la requete : 30/04/2011 13:42:19

    Donc rien à voir avec Spidebot milouchouchou
    fredfan, le reverse dns lookup indique bien que l'ip appartient à Google
    finstreet, pas de problème de ce genre, le site existe depuis plus d'un an sans jamais avoir eu de pages partenaires, et pas de changement de code récent.
     
  8. fredfan
    fredfan WRInaute accro
    Inscrit:
    2 Juillet 2008
    Messages:
    2 869
    J'aime reçus:
    2
    Je n'ai pas dit que ce n'était pas googlebot, mais qu'il a pu choper l'adresse sur une page provisoire de spam. Ca peut être aussi un serveur dns qui déconne et qui a mélangé deux bouts d'url
     
Chargement...
Similar Threads - GoogleBot crawle partenaires Forum Date
googlebot crawle des pages inexistantes Crawl et indexation Google, sitemaps 16 Août 2019
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
Googlebot crawle-t-il les onglets d'une div en style="display:none" ? Crawl et indexation Google, sitemaps 26 Août 2014
CRAWLER GOOGLEBOT / ROBOT.txt et META ROBOT Débuter en référencement 31 Août 2012
Crawlé à 99% par googlebot-mobile, 1% par googlebot? Crawl et indexation Google, sitemaps 11 Juillet 2010
_trackEvent créé des URLs fictives que Googlebot crawle ? Google Analytics 13 Juillet 2009
Site inaccessible pour GoogleBot Crawl et indexation Google, sitemaps 21 Octobre 2019
En décembre 2019 changement de l'user agent de Googlebot Crawl et indexation Google, sitemaps 5 Octobre 2019
Les pages 404 avec googlebot Crawl et indexation Google, sitemaps 14 Juin 2019
Evergreen Googlebot, basé sur Chromium (Chrome open source) Référencement Google 9 Mai 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice