GoogleBot crawle des pages partenaires inexistantes

WRInaute impliqué
Bonjour a tous,

Je voulais savoir si d'autres personnes sont dans le même cas que moi :
Depuis le 12 avril 2011, GoogleBot crawle des pages qui n'ont jamais existé (Ok ca peut arriver si un site fait un lien vers une page inexistante).
Mais la ou c'est étrange, c'est que les pages en question sont :
- partenaires.html
- partenaires.php
- sites.php

et que le problème se répète sur plusieurs de mes sites pour la même période.

Qu'en pensez-vous? Avous vous le même problème?
Serait-ce un des signaux recherchés par la maj Panda, a savoir si le site a une page partenaires?
 
WRInaute discret
Bonsoir

J'ai déjà posé la question début de ce mois
milouchouchou a dit:
Bonjour tout le monde

Quelqu'un pourrait-il m'expliquer où le Spider Googlebot 2.1 va chercher ce genre de lien fantaisiste lors de son indexation :

Code:
http://milouchouchou.com/index.php/ensemble-du-site/annuaire/chiens/les-photos/chiens-ou-chiots-a-adopter/paradis/paradis/mon-rambo-au-paradis-16/12/les-poemes/groupes-fci-par-pays/paradis/ma-petite-bijou-22/02/ensemble-du-site/ensemble-du-site/html/paradis
Code:
http://milouchouchou.com/index.php?Itemid=78&option=com_contact_enhanced&view=contact&id=5
Code:
http://www.milouchouchou.com/schnauzer-geant

C'est régulièrement par dizaines que je vois des liens de ce genre dans mes statistiques, tous aussi exotiques.

Je n'ai jamais créé ce type de page ou lien, l'adresse de mon site étant tout simplement http://www.milouchouchou.com

Merci d'éclairer ma chandelle, si quelqu'un a la réponse.

Francis

Comme réponse on me parle d'une redirection 301, ce que j'ai fait pour plus de 300 liens, mais la liste continue.
Je trouve anormal de devoir faire des redirections pour des pages inexistantes et créées par googleboot.
 
WRInaute accro
Ca pourrait être aussi un robot de spam referrer qui fait des liens vers toi parce que tu es dans sa liste par erreur, par négligence), dans une démarche de recherche de proies. Ce genre de robots n'a pas toujours des raisons très cohérentes.
 
WRInaute accro
j'ai eu le pb y'a deux jours. Erreur sur un stripslahes oublié... mais souvent ca arrive et ca vient du site
 
WRInaute impliqué
carole heinz, je pense qu'il s'agit bien de GoogleBot:

Url de la page : /partenaires.html
Url de provenance :
IP du visiteur : 66.249.66.25
Navigateur : Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
Heure de la requete : 30/04/2011 13:42:19

Donc rien à voir avec Spidebot milouchouchou
fredfan, le reverse dns lookup indique bien que l'ip appartient à Google
finstreet, pas de problème de ce genre, le site existe depuis plus d'un an sans jamais avoir eu de pages partenaires, et pas de changement de code récent.
 
WRInaute accro
Je n'ai pas dit que ce n'était pas googlebot, mais qu'il a pu choper l'adresse sur une page provisoire de spam. Ca peut être aussi un serveur dns qui déconne et qui a mélangé deux bouts d'url
 
Discussions similaires
Haut