Purger l'index Google, robots.txt

Discussion dans 'Débuter en référencement' créé par st3phan3, 23 Novembre 2011.

  1. st3phan3
    st3phan3 Nouveau WRInaute
    Inscrit:
    23 Novembre 2011
    Messages:
    5
    J'aime reçus:
    0
    Bonjour,

    Je reprends un site sur lequel pour une même page on peut avoir une multitude d'url.
    Ex. :
    http://www.nomdedomaine.com/list.php?path=197&sort=Prix&page=30
    Alors que :
    http://www.nomdedomaine.com/list.php?path=197
    suffit (pour le ref).

    Bien sûr j'utilise les paramètres d'url fournis par la console Google. Mais cette technique est beaucoup plus longue qu'avec un fichier robots.txt.

    Est-ce quelqu'un saurait me dire avec certitude comment demander à google, par le biais d'un fichier robot, ne pas prendre en compte toutes les urls dont l'extension va au delà de "?path=id, en gros toutes ces formes là :
    http://www.nomdedomaine.com/list.php?path=197&sort=Prix&page=30

    Mais en étant certain qu'il n'ignore pas du coup les bonnes urls simplifiées de cette forme ci :
    http://www.nomdedomaine.com/list.php?path=197

    Merci pour vos réponses
     
  2. Ehplod
    Ehplod WRInaute impliqué
    Inscrit:
    22 Octobre 2011
    Messages:
    615
    J'aime reçus:
    0
    Re: Purger l'index Google, robots.tx

    Attention, le robots.txt ne sert pas à désindexer des pages mais à en interdire l'accès.
    Si les pages sont déjà dans l'index de GG, les bots n'y accèderont plus, mais en aucun cas ils ne les supprimeront.
     
  3. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 192
    J'aime reçus:
    1
    Re: Purger l'index Google, robots.tx

    c'est pas comme ça que je m'y prendrait perso :

    Code:
    <?php if(isset($_GET['sort']) || isset($_GET['page'])){
       echo '<meta name="robots" content="noindex" />';
    }else{
       echo '<meta name="robots" content="ALL" />';
    } ?>
    genre, glissé là où ça va bien dans le code du site.
     
  4. st3phan3
    st3phan3 Nouveau WRInaute
    Inscrit:
    23 Novembre 2011
    Messages:
    5
    J'aime reçus:
    0
    Re: Purger l'index Google, robots.tx

    On est bien d'accord, je souhaite simplement en interdire l'accès
     
  5. st3phan3
    st3phan3 Nouveau WRInaute
    Inscrit:
    23 Novembre 2011
    Messages:
    5
    J'aime reçus:
    0
    Re: Purger l'index Google, robots.tx

    bonjour et merci pour la réponse.
    Cependant je me permets d'insister.
    Je sais que ça existe, je l'ai déjà vu dans les conseils Google aux webmasters.
    C'est quelque chose du genre :
    disallow:list.php?path=id&*
    ou
    disallow:list.php?path=id

    J'aimerais avis et conseils d'un expert pour l'avoir utilisé. Je trouve la formule dangereuse, sans en être sûr. Je ne veux pas risquer de barrer l'accès aux "bonnes pages" mais j'aimerais lui faire comprendre que toutes les url à rallonge après list.php?path=id et ce, quel que soit id, ne doivent pas être visitées, comme par exemple http://www.nomdedomaine.com/list.php?path=197&sort=Prix&page=30 pour l'ID 197 alors que http://www.nomdedomaine.com/list.php?path=197 doit l'être, elle.

    Je ne sais pas si je suis clair mais si un expert pouvait m'aider j'en serais vraiment heureux.

    Merci pour vos réponses
     
  6. lambi521
    lambi521 WRInaute passionné
    Inscrit:
    15 Juin 2010
    Messages:
    1 476
    J'aime reçus:
    0
    Code:
    User-agent: *
    Disallow: /*sort=
    Disallow: /*page=
    
    Cela empêchera Googlebot d'accéder aux URLs contenant ces paramètres. Dans GWT rubrique Configuration du site > Accès du robot d'exploration, tu peux justement tester tes règles et voir leur effet sur Googlebot.

    Tu mets les règles que je t'ai données dans le 1er textarea, une URL que tu ne veux pas indexer + une URL que tu veux indexer dans le 2ème et tu lances le test. Il te dira exactement quelle URL sera crawlée par Googlebot et quelle URL ne le sera pas. Tu peux ainsi savoir à l'avance tous les effets de ton robots.txt et éviter de faire une (très grosse) bêtise.

    Edit: Une fois ces règles mises en place, tu peux demander leur suppression via "Supression d'URL" dans GWT également, en indiquant les mêmes paramètres GET à éviter. Avec ça + les paramètres d'URLs bien réglés (dans GWT également, paramètres sur "Aucune URL"), tes pages disparaitront petit à petit.
     
  7. st3phan3
    st3phan3 Nouveau WRInaute
    Inscrit:
    23 Novembre 2011
    Messages:
    5
    J'aime reçus:
    0
    Merci beaucoup pour cette réponse très précise et qui me convient parfaitement.
    Je vais tester tout ça.
     
  8. st3phan3
    st3phan3 Nouveau WRInaute
    Inscrit:
    23 Novembre 2011
    Messages:
    5
    J'aime reçus:
    0
    J'ai suivi tes conseils lambi521.

    Je reviens simplement sur ce sujet pour te remercier.
    ça marche à la perfection.
     
  9. lambi521
    lambi521 WRInaute passionné
    Inscrit:
    15 Juin 2010
    Messages:
    1 476
    J'aime reçus:
    0
    De rien ;)

    Et merci à toi, rares sont ceux qui reviennent pour remercier, ça fait toujours plaisir :)
     
Chargement...
Similar Threads - Purger Google robots Forum Date
Google et les très très vieilles URLs, comment purger ? Crawl et indexation Google, sitemaps 21 Février 2012
Purger cache Varnish pour chaque nouveau visiteur Développement d'un site Web ou d'une appli mobile 22 Novembre 2016
WordPress Lost in Google ! Débuter en référencement Hier à 14:18
Comment Google utilise le spam report Référencement Google Hier à 09:44
Mon site wordpress ne s'affiche pas dans recherches Google Problèmes de référencement spécifiques à vos sites Mardi à 19:40
Search Console Google Search console: page envoyée et indexée mais introuvables par une recherche google Référencement Google Mardi à 11:52
Google Analytics : différence d'audience avec l'export Excel Google Analytics 25 Juin 2020
Marquage automatique Google/ UTM Google Analytics 19 Juin 2020
Core update - Et si Google s'était juste planté ? Référencement Google 19 Juin 2020
Url incohérente sur Google Analytics Google Analytics 17 Juin 2020
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice