Désindexer une partie d'un site sur les moteurs de recherche

Discussion dans 'Demandes d'avis et de conseils sur vos sites' créé par sophie42, 1 Août 2011.

  1. sophie42
    sophie42 Nouveau WRInaute
    Inscrit:
    1 Août 2011
    Messages:
    14
    J'aime reçus:
    0
    Bonjour,
    Je souhaiterai savoir comment peut-on désindexer une partie d'un site (sans désindexer le reste bien entendu), des moteurs de recherche. A savoir, j'utilise wordpress et j'ai ajouté un forum phpbb3, c'est ce forum que je voudrai désindexer afin de pouvoir le supprimer proprement une fois cela fait, pour ne pas me retrouver avec 50000 erreurs 404. A ce propos, comment peut-on savoir à quel moment supprimer son forum, que les moteurs de recherches l'ont bien désindexé ?
    J'ai mis dans mon fichier robot ceci :


    # robots.txt
    User-agent: *
    Disallow: /forum/


    Je ne sais pas si c'ets la bonne méthode ou si je commet une erreur, ou s'il est préférable de mettre

    # robots.txt
    User-agent: *
    Disallow: /

    directement dans un nouveau robot.txt que je place dans le dossier contenant le forum.
    Ou s'il existe une autre méthode si jamais ce n'est pas la bonne.
    Et dernière question, combien de temsp mettent les moteurs de recherche pour désindexer ? Merci pour votre aide, cordialement.
     
  2. Marie-Aude
    Marie-Aude WRInaute accro
    Inscrit:
    5 Juin 2006
    Messages:
    16 361
    J'aime reçus:
    2
    La première méthode est la bonne. Le robots.txt doit toujours être à la racine du site.
    Pour Google, une fois le robots.txt mis en place, tu peux accélérer en demandant la suppression du répertoire dans les outils pour webmasters
     
  3. sophie42
    sophie42 Nouveau WRInaute
    Inscrit:
    1 Août 2011
    Messages:
    14
    J'aime reçus:
    0
    Merci Marie-Aude pour cette réponse rapide.
    Bien cordialement.
     
  4. sophie42
    sophie42 Nouveau WRInaute
    Inscrit:
    1 Août 2011
    Messages:
    14
    J'aime reçus:
    0
    Bonjour,
    Je me permet de vous re-solliciter à nouveau, car j'ai du louper une étape, en effet Google me rajoute quotidiennement de nombreuses erreurs robots ( Restricted by robots.txt ‎). Je ne comprend pas pourquoi, j'ai placé ceci :

    # robots.txt
    User-agent: *
    Disallow: /forum/


    Dans mon fichier robot à la racine du site, mais toutes les pages liées au forum sont toujours présentes dans les moteurs de recherche et de plus j'ai de plus en plus d'erreurs dans l'outil pour les webmaster avec les Restricted by robots.txt qui augmentent constament...
    Merci pour votre aide
     
  5. Marie-Aude
    Marie-Aude WRInaute accro
    Inscrit:
    5 Juin 2006
    Messages:
    16 361
    J'aime reçus:
    2
    Tu as du laisser les liens de ton forum dans ton sitemap
     
  6. sophie42
    sophie42 Nouveau WRInaute
    Inscrit:
    1 Août 2011
    Messages:
    14
    J'aime reçus:
    0
    Merci pour votre réponse, j'utilise le CMS Wordpress avec le plugin XML-Sitemap, je ne sais pas si vous connaissez, je ne voit pas trop où exclure l'indexation et le référencement du forum dans les options, peut-être dois-je désactiver le sitemap (en espérant qu'il ne me fasse pas d'erreurs 404, Wordpress à la facheuse tendance à créer des erreurs 404 lorsque l'on active ou désactive un plugin). Si vous avez une méthode simple et fiable je suis preneuse, merci pour le temps que vous accordez à mon problème.
     
  7. Marie-Aude
    Marie-Aude WRInaute accro
    Inscrit:
    5 Juin 2006
    Messages:
    16 361
    J'aime reçus:
    2
    Il n'y a pas de forum en natif dans Wordpress, donc vous devez utiliser un plugin. Peut-être que cela se trouve dans les options du plugin.
     
  8. sophie42
    sophie42 Nouveau WRInaute
    Inscrit:
    1 Août 2011
    Messages:
    14
    J'aime reçus:
    0
    Bonsoir Marie-Aude,
    En fait j'ai installé wordpress et dans celui-ci un sous-dossier /forum/ contenant un forum phpbb3 qui se trouve donc à l'url www.monsite.com/forum
     
  9. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 911
    J'aime reçus:
    75
    Et tu n'as pas fait de liens entre le site et le forum ? Du genre des liens, depuis tes billets de wordpress, vers certains topics ?
     
  10. sophie42
    sophie42 Nouveau WRInaute
    Inscrit:
    1 Août 2011
    Messages:
    14
    J'aime reçus:
    0
    Bonsoir UsagiYojimbo,
    Si j'en ai fait plusieurs que je supprime au fur et à mesure, j'ai heureusement un plugin qui m'aide pour cela en me prevenant automatiquement lorsqu'il y a des liens cassés.
     
  11. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 911
    J'aime reçus:
    75
    Tant que tu auras des liens qui pointeront encore vers des topics de ton forum avec ces url que tu as bloqué, tu auras ce genre de message.
     
  12. sophie42
    sophie42 Nouveau WRInaute
    Inscrit:
    1 Août 2011
    Messages:
    14
    J'aime reçus:
    0
    D'accord, j'ai beaucoup de boulot alors, il y en a des centaines, donc si je résume, je les supprime tous, ensuite je remet l'interdiction dans le fichier robot et le tour est joué, proprement sans erreurs 404 ? Dîtes-moi oui s'il vous plait hihi :lol:
     
  13. sophie42
    sophie42 Nouveau WRInaute
    Inscrit:
    1 Août 2011
    Messages:
    14
    J'aime reçus:
    0
    Bonjour,
    J'aurai une question à vous poser. Est-il normal que Google indexe toujours les pages de mon forum sachant que j'ai effectué les manipulations requises évoquées plus haut dans le topic, j'ai même ajouté un noindex, nofollow sur le viewtopic des pages de mon forum, j'ai ajouté le robot :

    # robots.txt
    User-agent: *
    Disallow: /forum/


    Cela fait maintenant plusieurs jours, bientôt deux semaines, pourtant mon forum est au moins en partie toujours indexé, que faire ?
    Cordialement
     
  14. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 911
    J'aime reçus:
    75
    Tu as bien demandé la suppression du dossier forum depuis Google Webmaster Tools ? La dernière fois que j'ai utilisé cet outil, il a suffit de 2 - 3 jours.
     
  15. sophie42
    sophie42 Nouveau WRInaute
    Inscrit:
    1 Août 2011
    Messages:
    14
    J'aime reçus:
    0
    Bonsoir,
    Oui d'ailleurs j'ai de nombreuses erreurs robots toujours, mais Google dit de ne pas en prendre compte... Je ne comprends pas, j'ai peur de supprimer le forum et de me retrouver avec des centaines d'erreurs 404
     
  16. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 911
    J'aime reçus:
    75
    Perso si tu procèdes de la manière suivante :

    - Tu met un noindex sur le forum via le robots.txt
    - Tu supprimes le forum via Google webmaster Tools
    - Tu rediriges toutes les url appartenant au forum sur la page d'accueil du site

    Il n'y a aucune raison pour que ça se passe mal
     
  17. sophie42
    sophie42 Nouveau WRInaute
    Inscrit:
    1 Août 2011
    Messages:
    14
    J'aime reçus:
    0
    Merci UsagiYojimbo pour cette réponse rapide !
    En ce qui concerne la redirection sur l'accueil du site, est-ce que Google "aime" bien cette méthode ? Sinon dernière question et j'arrête de t'embêter hihi, euh... Comment procède-t-on ? Via .htaccess ?
    Merci pour ton aide, cordialement
     
Chargement...
Similar Threads - Désindexer partie moteurs Forum Date
Désindexer une page via Google Search Débuter en référencement Lundi à 23:13
Désindexer ou supprimer ? Débuter en référencement 25 Mai 2021
Désindexer une page non indexée Crawl et indexation Google, sitemaps 12 Août 2020
Désindexer les pages http (sans certificat SSL) après piratage japonais Crawl et indexation Google, sitemaps 1 Juillet 2020
WordPress désindexer les pages feed Crawl et indexation Google, sitemaps 8 Juin 2020
Désindexer liste d'URL en générant un sitemap Crawl et indexation Google, sitemaps 2 Mai 2020
Crédits et mentions légales : pages à désindexer ou pas ? Référencement Google 22 Janvier 2020
Désindéxer pages sans en-têtes, ni balises meta Crawl et indexation Google, sitemaps 6 Décembre 2019
Désindexer page du moteur de recherche interne Crawl et indexation Google, sitemaps 30 Octobre 2019
Pages zombies : faut-il désindexer les pages catégories ? Référencement Google 26 Août 2019