Interdire des pages dynamiques dans robots.txt

Discussion dans 'Débuter en référencement' créé par Galdon, 18 Mai 2010.

  1. Galdon
    Galdon WRInaute discret
    Inscrit:
    19 Décembre 2007
    Messages:
    76
    J'aime reçus:
    0
    Bonjour,

    En regardant mes logs, je me suis aperçu que Googlebot explore énormément de pages (plusieurs centaines/jour, presque un millier) sans intérêt sur mon forum phpBB, comme la liste des membres.

    Voici un échantillon des URL visitées :

    Je souhaite interdire ces pages aux robots avec le fichier robots.txt.

    A ma connaissance, la règle Disallow ne permet d'exclure que des repertoires ou des fichiers spécifiques.

    Dans mon cas, il n'y a pas d'URL précise puisque memberlist.php est une page dynamique qui prend pas mal de paramètres GET donc ça fait un nombre d'URL différentes monstrueux.

    Et ce que si je mets ce code dans robots.txt ça va marcher, peu importe les paramètres en URL :

    Code:
    User-agent: *
    Disallow: /memberlist.php
    ?

    Merci
     
  2. YoyoS
    YoyoS WRInaute accro
    Inscrit:
    14 Septembre 2006
    Messages:
    3 249
    J'aime reçus:
    0
    Oui tout à fait. Il ignorera complètement tout URI qui commence par "/memberlist.php"

    Tu peux même être plus précis, si tu ne veux pas désindexer la page sans paramètres avec Disallow: /memberlist.php?
     
  3. Galdon
    Galdon WRInaute discret
    Inscrit:
    19 Décembre 2007
    Messages:
    76
    J'aime reçus:
    0
    Ok, merci beaucoup pour ces précisions.
     
Chargement...
Similar Threads - Interdire dynamiques robots Forum Date
Site d'essai : quelle méthode pour interdire l'accès ? Développement d'un site Web ou d'une appli mobile 19 Octobre 2020
Interdire l'indexation d'url interne en double Référencement Google 7 Janvier 2020
Néfaste au référencement : interdire aux visiteurs US ? Problèmes de référencement spécifiques à vos sites 10 Décembre 2019
L'attribut data-nosnippet pour interdire des textes dans les snippets Référencement Google 26 Septembre 2019
Interdire téléchargement fichiers Demandes d'avis et de conseils sur vos sites 18 Juillet 2019
Ai-je le droit d'interdire le partage du lien de ma chaîne YouTube(pour une raison quelconque). YouTube, Google Images et Google Maps 16 Décembre 2018
Interdire le crawl d une partie du site Débuter en référencement 15 Octobre 2018
Interdire indexation d'un contenu Administration d'un site Web 11 Septembre 2017
Comment interdire le crawl des pages de faibles valeurs (Noindex ; Nofollow ; Disallow ?) Débuter en référencement 22 Mars 2017
Interdire l'accès au un site aux concurrents Droit du web (juridique, fiscalité...) 30 Janvier 2017