Googlebot génère délibérément des pages d'erreurs ?

TOMHTML

WRInaute accro
Bonjour à tous
j'ai découvert sur mon log d'erreurs ce matin quelque chose d'étrange :
IP : 66.249.65.207
Navigateur : Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
Page demandée : /noexist_7f0a91b4adfee2d5.html

bon, je suis pas certain à 100%, mais je pense que c'est un bot de BigDaddy.

Je vous rassure, cette page n'existe pas sur mon serveur, et aucune page ne ressemble à ça de près ou de loin.
C'est la première fois que je vois un bot de Google qui me crée une requête de toutes pièces (enfin, y'a bien le bot de Sitemaps qui l'a fait un coup, mais bon là c'est pas le sujet), sans doute pour tester ma page d'erreur et surtout le code HTTP qu'elle retourne.

Pour ma part, ma page 404 redirige automatiquement vers ma page d'erreur : j'espere que ça ne va pas m'être fatal pour mon référencement !


Bref, je sais que Yahoo (Slurp!) fait ça depuis quelques mois déjà, mais pour Google c'est la première fois.

C'est nouveau ou vous aviez déjà constaté ça ?
Qu'en pensez-vous ?
Quel impact cela peut-il avoir selon vous ?


merci d'avance pour vos réponses.
mots clés pour les futures personnes qui auront peut-être le même probleme que moi : noexist ; noexist_
 

Leonick

WRInaute accro
D'après moi, c'est un bug de google sitemap, car si tu fais attention, en remplaçant noexist_ par google, ça donne ton fichier de vérification. Je viens de vérifier sur ton site, c'est bien ça.
Effectivement, j'avais remarqué ça il y a quelques semaines sur un de mes sites pour lequel google ne voulait pas valider mon sitemap.
 

rottman

WRInaute passionné
Salut,

Il s'agit peut etre d'un lien provenant d'un autre site (Black Hat?!)
ou tout simplement un bug ?!

Quoiqu'il en soit je ne pense vraiment pas que tu devrais t'en inquièter :)
 

Twister

WRInaute occasionnel
J'ai aussi trouvé ça dans mes stats.
En fait, je crois que google fait exprès d'essayer d'accéder à ce fichier qui n'existe pas avant de vérifier ton fichier pour google sitemap.
Ca lui permet de vérifier que ton serveur répond bien une erreur 404 pour une page absente.
 

jeanluc

WRInaute accro
TOMHTML a dit:
Pour ma part, ma page 404 redirige automatiquement vers ma page d'erreur
Plus ou moins...

Quand j'essaie d'accéder à la page non existante http://www.vrai-nom.com/noexist_7f0a91b4adfee2d5.html, je suis renvoyé par une redirection 301 vers ta page d'accueil.

C'est certainement ça que Googlebot voulait savoir : que sur ton site, il n'y a jamais d'erreur 404 et qu'elles sont remplacées par des redirections 301 vers la page d'accueil. Comme ça, il évitera de se prendre les pinceaux dans les erreurs et les redirections. Ils ont vraiment bien fait de s'inspirer de ce que fait Yahoo! Slurp depuis quelque temps. :D

Je ne vois pas pourquoi Google voudrait te pénalisera pour ça.

Jean-Luc
 

TOMHTML

WRInaute accro
Leonick a dit:
D'après moi, c'est un bug de google sitemap, car si tu fais attention, en remplaçant noexist_ par google, ça donne ton fichier de vérification. Je viens de vérifier sur ton site, c'est bien ça.
Effectivement, j'avais remarqué ça il y a quelques semaines sur un de mes sites pour lequel google ne voulait pas valider mon sitemap.
bien vu ;)
mais c'est étrange, car mon sitemap est opérationnel depuis plusieurs mois déjà, sans aucun problème.

J'ai aussi trouvé ça dans mes stats.
En fait, je crois que google fait exprès d'essayer d'accéder à ce fichier qui n'existe pas avant de vérifier ton fichier pour google sitemap.
Ca lui permet de vérifier que ton serveur répond bien une erreur 404 pour une page absente.
Oui ça a fait ça au moment au j'ai soumis mon sitemap, du coup j'avais viré qq instant mon htaccess et tout est rentré dans l'ordre.
Et l'URL "d'erreur" générée par Sitemap au début n'avait rien à voir avec celle d'aujourd'hui.

Je ne vois pas pourquoi Google voudrait te pénalisera pour ça.
Ouf :) Merci de tes explications.

PS : tous les "bot sitemaps" dont j'ai entendu parlé sur le web commençaient leur IP par "77" (je sais plus la suite), là je crois que c'est BigDaddy, pas habituel donc.
 

Discussions similaires

Haut