Que signifient ces visites de bots sur des pages qui n'existent pas ?

[ph.gras]

Les crawlers des moteurs de recherches demandent quelquefois des pages
qui de toute évidence, n'existent pas et ne devraient d'ailleurs pas exister :

Googlebot :
​

/koftqfvaqtkhvjlr.html  Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

Yahoo! Slurp :

/SlurpConfirm404.htm	Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

​/SlurpConfirm404​/distortimage​/titles.htm	Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

​/SlurpConfirm404​/Photoes​/ALICE​/tajiri.htm	Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

/SlurpConfirm404​/FDSITE​/cds​/shinjiteru.htm	Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

Je reçois aussi des visites depuis les pages des moteurs de recherches vers des pages
qui n'existent pas, et dont je n'ai pas trouvé la trace dans les SERPs :

/verify-Affichage_Charte?aHR0cDovL3d3dy5zb2xkYXQtbWV0aWVyLmNvbS90YWcvbWFsaS8=	www.google.fr Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; IE-SHEM; IE-ISPT)

​/notified-Affichage_Charte?aHR0cDovL3d3dy5zb2xkYXQtbWV0aWVyLmNvbS90YWcvbWFsaS8=	www.google.fr Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; IE-SHEM; IE-ISPT)

Pouvez-vous me dire ce que cela signifie, à quoi ça correspond, et quelle attitude je
devrais adopter par rapport à ces requêtes ?

 

[loubet]

google : il a du trouvé cette url quelque part à un moment. même si le lien n'existe plus, il continue à le demander

yahoo : moyen pour le robot de vérifier ce qui se passe avec une vraie 404

verify-Affichage_Charte : plugin ou navigateur modifié pour des boites, qui fait ces requetes

quoi faire ? rien de spécial

 

[zeb]

Attention, se fier juste au UA pour savoir qui crawl quoi c'est un peut léger ... :wink:

 

[Leonick]

google : il a du trouvé cette url quelque part à un moment. même si le lien n'existe plus, il continue à le demander

non, ça lui permet juste de vérifier si les pages inexistantes renvoient bien un code 404

 

[KOogar]

Tu es en train de dire que le boot de gg fabrique de fausses adresses pour tester le 404 des sites ? Est-ce exceptionnel ou habituel ?

 

[Caine_DVP]

Loi j'avais eu à une époque un grand nombre de requêtes de page php style admin, là je pense que c'est clairement des tentatives de hack.

Tient je n'aurais jamais pensais que les bots et autre crawler vérifiaient la présence de page 404 (heu pas sûr que mon site gère).

Il se peu aussi que tu es un site concurrent avec un NDD proche pour lequel ces pages existent.

 

[loubet]

j'ai regardé les logs d'un site et effectivement, google appelle des url inventées, 5 différentes au cours du mois de juin.

 

[Leonick]

Loi j'avais eu à une époque un grand nombre de requêtes de page php style admin, là je pense que c'est clairement des tentatives de hack.

toutafé

Tient je n'aurais jamais pensais que les bots et autre crawler vérifiaient la présence de page 404 (heu pas sûr que mon site gère).

pas de page 404, juste regarder si, quand une page n'existe pas (et c'est le cas avec les url qu'il fabrique), on a bien un code 404 et pas un 200, voire un 301 qui renvoie vers la page d'accueil

 

[Caine_DVP]

Merci pour la précision.

Et que dire quand les demande de page émanent de robot Russes, Chinois etc ...

 

[Leonick]

faut "juste" les bloquer ! :twisted:
mais eux ne cherchent pas à voir si tu renvoies bien un code 404, mais plutôt si on peut accéder à tes pages admin, ils testent donc toutes les url d'admin de nombreuses solutions wordpress, phpmyadmin,...