Désindexer une partie d'un site sur les moteurs de recherche

Nouveau WRInaute
Bonjour,
Je souhaiterai savoir comment peut-on désindexer une partie d'un site (sans désindexer le reste bien entendu), des moteurs de recherche. A savoir, j'utilise wordpress et j'ai ajouté un forum phpbb3, c'est ce forum que je voudrai désindexer afin de pouvoir le supprimer proprement une fois cela fait, pour ne pas me retrouver avec 50000 erreurs 404. A ce propos, comment peut-on savoir à quel moment supprimer son forum, que les moteurs de recherches l'ont bien désindexé ?
J'ai mis dans mon fichier robot ceci :


# robots.txt
User-agent: *
Disallow: /forum/


Je ne sais pas si c'ets la bonne méthode ou si je commet une erreur, ou s'il est préférable de mettre

# robots.txt
User-agent: *
Disallow: /

directement dans un nouveau robot.txt que je place dans le dossier contenant le forum.
Ou s'il existe une autre méthode si jamais ce n'est pas la bonne.
Et dernière question, combien de temsp mettent les moteurs de recherche pour désindexer ? Merci pour votre aide, cordialement.
 
WRInaute accro
La première méthode est la bonne. Le robots.txt doit toujours être à la racine du site.
Pour Google, une fois le robots.txt mis en place, tu peux accélérer en demandant la suppression du répertoire dans les outils pour webmasters
 
Nouveau WRInaute
Bonjour,
Je me permet de vous re-solliciter à nouveau, car j'ai du louper une étape, en effet Google me rajoute quotidiennement de nombreuses erreurs robots ( Restricted by robots.txt ‎). Je ne comprend pas pourquoi, j'ai placé ceci :

# robots.txt
User-agent: *
Disallow: /forum/


Dans mon fichier robot à la racine du site, mais toutes les pages liées au forum sont toujours présentes dans les moteurs de recherche et de plus j'ai de plus en plus d'erreurs dans l'outil pour les webmaster avec les Restricted by robots.txt qui augmentent constament...
Merci pour votre aide
 
Nouveau WRInaute
Merci pour votre réponse, j'utilise le CMS Wordpress avec le plugin XML-Sitemap, je ne sais pas si vous connaissez, je ne voit pas trop où exclure l'indexation et le référencement du forum dans les options, peut-être dois-je désactiver le sitemap (en espérant qu'il ne me fasse pas d'erreurs 404, Wordpress à la facheuse tendance à créer des erreurs 404 lorsque l'on active ou désactive un plugin). Si vous avez une méthode simple et fiable je suis preneuse, merci pour le temps que vous accordez à mon problème.
 
WRInaute accro
Il n'y a pas de forum en natif dans Wordpress, donc vous devez utiliser un plugin. Peut-être que cela se trouve dans les options du plugin.
 
Nouveau WRInaute
Bonsoir Marie-Aude,
En fait j'ai installé wordpress et dans celui-ci un sous-dossier /forum/ contenant un forum phpbb3 qui se trouve donc à l'url www.monsite.com/forum
 
WRInaute accro
Et tu n'as pas fait de liens entre le site et le forum ? Du genre des liens, depuis tes billets de wordpress, vers certains topics ?
 
Nouveau WRInaute
Bonsoir UsagiYojimbo,
Si j'en ai fait plusieurs que je supprime au fur et à mesure, j'ai heureusement un plugin qui m'aide pour cela en me prevenant automatiquement lorsqu'il y a des liens cassés.
 
WRInaute accro
Tant que tu auras des liens qui pointeront encore vers des topics de ton forum avec ces url que tu as bloqué, tu auras ce genre de message.
 
Nouveau WRInaute
D'accord, j'ai beaucoup de boulot alors, il y en a des centaines, donc si je résume, je les supprime tous, ensuite je remet l'interdiction dans le fichier robot et le tour est joué, proprement sans erreurs 404 ? Dîtes-moi oui s'il vous plait hihi :lol:
 
Nouveau WRInaute
Bonjour,
J'aurai une question à vous poser. Est-il normal que Google indexe toujours les pages de mon forum sachant que j'ai effectué les manipulations requises évoquées plus haut dans le topic, j'ai même ajouté un noindex, nofollow sur le viewtopic des pages de mon forum, j'ai ajouté le robot :

# robots.txt
User-agent: *
Disallow: /forum/


Cela fait maintenant plusieurs jours, bientôt deux semaines, pourtant mon forum est au moins en partie toujours indexé, que faire ?
Cordialement
 
WRInaute accro
Tu as bien demandé la suppression du dossier forum depuis Google Webmaster Tools ? La dernière fois que j'ai utilisé cet outil, il a suffit de 2 - 3 jours.
 
Nouveau WRInaute
Bonsoir,
Oui d'ailleurs j'ai de nombreuses erreurs robots toujours, mais Google dit de ne pas en prendre compte... Je ne comprends pas, j'ai peur de supprimer le forum et de me retrouver avec des centaines d'erreurs 404
 
WRInaute accro
Perso si tu procèdes de la manière suivante :

- Tu met un noindex sur le forum via le robots.txt
- Tu supprimes le forum via Google webmaster Tools
- Tu rediriges toutes les url appartenant au forum sur la page d'accueil du site

Il n'y a aucune raison pour que ça se passe mal
 
Nouveau WRInaute
Merci UsagiYojimbo pour cette réponse rapide !
En ce qui concerne la redirection sur l'accueil du site, est-ce que Google "aime" bien cette méthode ? Sinon dernière question et j'arrête de t'embêter hihi, euh... Comment procède-t-on ? Via .htaccess ?
Merci pour ton aide, cordialement
 
Discussions similaires
Haut