Doutes sur le robots.txt

[medium69]

J'ai un petit doute sur l'utilisation du robots.txt...

Si je met une url qui à changer de nom dans ce fichiers, j'indique aux robots de ne plus indexé cette page.

Si je ne me trompe pas, si il l'ont dans leur index, ils vont la désindexée.

Si la dite url à une redirection dans le .htaccess, est-ce que les bots vont la remplacer par l'url de destination ou non ??

Sachant que j'en interdit la lecture par le robots.txt.

 

[le_gber]

si dans le .htaccess tu utilises un redirect 'personne' ne pourra lire ton ancienne page. Le redirect etant au niveau du serveur, il interviendra avant que ta page ne soit 'servit'

Lister ta page dans le robots.txt est donc inutile.

De plus si tu utilise un 301 redirect, Google (sur) Yahoo (un peu moins sur) remplaceront automatiquement l'ancienne par la nouvelle et le Pagerank sera aussi transféré.

 

[medium69]

Disons que j'en ai certaines qui ont cette redirection 301 depuis presque un an, et quand j'ai essayé de les enlevé du .htaccess, je les ai retrouvé en 404 dans mes stats.

Donc je trouve qu'ils mettent longtemps à réagir les bots ; non ?

 

[le_gber]

oui, ca c parce que il ne comprenne pas tous le message envoyé par ton serveur - 301 Permanent redirect. Google est le seule a le comprendre pour l'instant - bien qu'il y a une rumeur qui court disant que depuis BigDaddy c plus trop ca - Yahoo a aussi du mal je crois