Est il utile de mettre sur robots.txt une page 404?

[davalex]

Bonjour à tous,

J'ai changé il y'a plusieurs semaines complètement la structure de mon site et avait placé dans mon robots.txt tout un répertoire qui comprenait de nombreuses pages qu'il fallait déréférencer car complétement obsolètes. J'ai mis en même temps sur ces pages une erreur 404 vers la home. Ne pensez vous pas que ça puisse faire doublon? L'erreur 404 n'aurait pas suffit à les retirer??

Merci d'avance

 

[noomba]

En cas de changement je te conseille:
- erreur 404 dans le fichier htaccess renvoyant vers la homepage
- un nouveau plan sitemap
- un fichier robots.txt bloquant les dossiers contenant les fichiers obsolètes.
- un cron sur le serveur qui régénère ton plan sitemap tous les jours
- un fichier xsl qui transforme ton sitemap avec des liens type HTML

N'oublies pas dans le fichier robots.txt de faire le lien vers ton sitemap.xml

Cf. http://www.livres-medicaux.com

 

[Jeviensderio]

J'aurais mis plutôt un attribut noindex dans la section head des pages à retirer:

<meta name="robots" content="none">

 

[metropoway]

En cas de changement je te conseille:
- erreur 404 dans le fichier htaccess renvoyant vers la homepage
- un nouveau plan sitemap
- un fichier robots.txt bloquant les dossiers contenant les fichiers obsolètes.
- un cron sur le serveur qui régénère ton plan sitemap tous les jours
- un fichier xsl qui transforme ton sitemap avec des liens type HTML

N'oublies pas dans le fichier robots.txt de faire le lien vers ton sitemap.xml

Oulà, c'est la grosse artillerie...
À mon avis, tu peux déjà te contenter de gérer les 404 ET d'actualiser ton robots.txt. Pour le reste...

 

[acamar]

- un cron sur le serveur qui régénère ton plan sitemap tous les jours

En quoi ça peut être utile ?

 

[davalex]

Merci à tous pour vos réponses.
Autre petite question puisqu'on est dans le sujet.
Au mois de mai dernier, j'avais supprimé un répertoire via les outils webmaster google comprenant pas mal de page qui avaient de plus des liens sur la toile (sur pas mal de forums) . Le contenu a donc été supprimé depuis pas mal de temps, ces anciennes pages supprimées sont désormais redirigées vers la home par une redir 301, est ce OKI ?

Merci bcp

 

[metropoway]

Le contenu a donc été supprimé depuis pas mal de temps, ces anciennes pages supprimées sont désormais redirigées vers la home par une redir 301, est ce OKI ?

Oui

 

[davalex]

Merci beaucoup