Les robots m'inventent des pages...

[zimounet]

Quand je regarde dans robotstats, je constate que google, ou le bot de yahoo crawl des page qui n'existent pas du genre:

-http://www.example.com/?t=179

Ce n'est qu'un exemple, parfois c'est totalement farfelu.

 

[mia_mi]

Moi aussi cela m'est déjà arrivé, le site est URL Rewriting et parfois GG recombine les URLs à sa sauce ... mais quand tu cliques sur le lien, ce n'est pas une erreur 404 et le pb c'est que la page risque d'être considérée comme du dupplicate content :s
Bonne journée

 

[Bema]

Bonjour, oui moi aussi j'ai déjà eu ce cas la ...
et en fait, j'ai remarqué qu'il pouvait faire ce genre de merde quand les liens ne sont pas bien écrit dans une page

exemple, je faisais au début : <a href="\Chapitre1/index.html" blablabla
cette page tournera parfaitement bien dans IE, mais google va ajouter a son indexe une url http://www.example.com/chapitre1/index.html
et j'en passe et des meilleurs, donc il faut etre assez pointilleux au niveau de la réalisation. Et c'est pareil pour les stats, j'avais sans arret des erreur 3xx pour l'affichage des images, et je me demandais pourquoi, j'avais l'impression que le site devaient merder pour les autres, et non en fait, c l'analyseur de stat qui traduit le signe "\" par %5 et du coup lui aussi a l'impresssion qu'aucune image ne s'affiche ...
enfin voila, j'espère avoir contribuer un peu a la réponse de ta question
courage
mo

 

[jeanluc]

Bonjour,

Pour info, %5C est la représentation standard du caractère \ dans l'URL. Microsoft convertit le caractère \ à sa façon (en /), parce que ses systèmes d'exploitation utilisent ce caractère pour séparer les répertoires.

Les autres navigateurs et les autres logiciels suivent le standard.

Jean-Luc

 

[zimounet]

C'est surtout slurp, le bot de yahoo qui m'invente beaucoup d'url du genre -http://www.example.com/?param=valeur

Comment faire pour empecher cela?

 

[Madrileño]

Il existe des URL prévues pour donner des exemples: "example.com", "example.net" et "example.org" (avec un "a"), voir http://www.rfc-editor.org/rfc/rfc2606.txt , section 3.

https://www.webrankinfo.com/forum/t/poster-utile-repondre-utile-fonction-recherche.27877/

Edit : Merci au modérateur

 

[zimounet]

A ce compte la madrileno, il faudrais fermer le forum, puisque tous les sujet ou presque on été abordés sur WRI!!!

Ce que je veux c'est une réponse, pas un poste qui dit "cherchez de vous meme, de toute facon votre réponse se trouvera dans nos 1 millions de message" !!!!

 

[¥€$]

Le site exemple. com n'a pas besoin de plus de backlinks que nécessaire. C'est ce que Madrileño cherchait à expliquer...

 

[zimounet]

fallait le dire

mais je suis toujours pas plus avancé

 

[zimounet]

petit up, google et slurp et plein de bots n'arete pas de crawler des pages fantomes que faire?

 

[zimounet]

Re up, google passe tous les jours, meme plusieurs fois par jour, mais a chaque fois il scan des page du type exemple.cpom/?cat=xx