Robot.txt et suppression d'URL

[Tornado]

Bonsoir,

J'ai supprimé il y'a environ 2 mois un répertoire de mon site sur google qui contenant près de 15 000 pages. J'ai donc mis le répertoire dans mon fichier robot.txt.
Toutes les pages ont bien été retirées comme prévu de l'index google. Par contre, ce que je remarque via les outils webmaster, c'est que chaque jour, il me rajoute environ 400 URL du répertoire dns la partie " URL restreintes par un fichier robots.txt " alors qu'elles sont bien supprimées de l'index google.
Est ce normal?

 

[salva]

Ben oui.

Tu lui interdis le répertoire et son contenu.

 

[Tornado]

Pourtant le répertoire et toutes les pages qu'il comprend ont bien été supprimées de son index...comment les retrouve t'il?

 

[salva]

Pourtant le répertoire et toutes les pages qu'il comprend ont bien été supprimées de son index...comment les retrouve t'il?

Pour faire simple, Google te confirme que le répertoire et son contenu ne seront plus indexés.

Tu ne lui interdis pas l'accès mais uniquement son indexation.

 

[HawkEye]

Pourtant le répertoire et toutes les pages qu'il comprend ont bien été supprimées de son index...comment les retrouve t'il?

Comment sont traitées les demandes de ces URLs ?

--> 404, 410 ?
--> 301, 302 ?

 

[salva]

Bonsoir,

J'ai supprimé il y'a environ 2 mois un répertoire de mon site sur google qui contenant près de 15 000 pages. J'ai donc mis le répertoire dans mon fichier robot.txt...

Supprimé physiquement ou juste dans le robots.txt?

 

[Tornado]

HawkEye : Au départ, elles redirigeaient vers la home et voyant qu'elles apparaissaient en masse dans "URL restreintes par un fichier robots.txt " , je les ai redirigé vers une page 404 mais ça ne change rien

salva: j'avais rajouté tout le répertoire dans robots.txt puis demandé la suppression du répertoire et des milliers d'URL qu'il comprenait via les outils webmasters. D'ailleurs ça a bien fonctionné puisqu'aucune des 15 000 pages ne sont indéxées, c'est juste qu'il continue à rajouter quotidiennement 400 URL dans la partie "URL restreintes par un fichier robots.txt "

Merci à vous

 

[Tornado]

Pensez vous que j'aurai du mettre 410 au lieu de 404 ? :-(

 

[Tornado]

Désolé de remonter le sujet, 1297 URL ont été ajoutées sur "URL restreintes par un fichier robots.txt" hier :-( pensez vous que je dois retirer le répertoire contenant ces pages du robot.txt maintenant que les pages ont été supprimées de l'index et qu'elles redirigent vers la home et page 404?

 

[kasperle]

pensez vous que je dois retirer le répertoire contenant ces pages du robot.txt maintenant que les pages ont été supprimées de l'index et qu'elles redirigent vers la home et page 404?

Oui, je ne vois pas l'intérêt d'interdire l'indexation de pages qui n'existent pas (plus) et que Google a gardé en mémoire.

les pages ont été supprimées de l'index et qu'elles redirigent vers la home et page 404?

Je suppose que tu veux dire redirigent vers la home OU page 404, parce que les deux je ne vois pas
:wink:

 

[Tornado]

Merci beaucoup
Oui en fait, j'avais pour une partie mis une page 404 et d'autres une redir 301 vers la home mais ça semble avoir donné le même résultat.
Maintenant que les pages n'existent plus, je vais donc retirer l'uRL du répertoire du fichier robot.txt.