Bloquer le crawl de la navigation à facettes

Discussion dans 'Crawl et indexation Google, sitemaps' créé par pp51, 7 Septembre 2014.

  1. pp51
    pp51 WRInaute discret
    Inscrit:
    26 Août 2005
    Messages:
    86
    J'aime reçus:
    0
    Bonjour,

    Depuis quelques jours, Google crawle beaucoup (trop!) des pages de ma navigation à facettes (filtres).

    Toutes les pages de la navigation à facettes sont en NOINDEX, mais j'aimerai plutôt bloquer le crawl via le robots.txt.

    Il me faudrait donc bloquer toutes les pages du dossier "filtre".

    Le dossier filtre est toujours accessible par le chemin d'url, à savoir

    -http://www.test.fr/categorie/sous-categorie/filtre/

    Sauriez-vous comment faire via le robots.txt ?

    Merci.

    Bon dimanche !
     
  2. pprem
    pprem WRInaute discret
    Inscrit:
    15 Décembre 2008
    Messages:
    149
    J'aime reçus:
    0
    en plus du NOINDEX, as-tu mis NOFOLLOW ?
    tu peux aussi jouer sur GWT pour faire du tri et le calmer ou le bloquer dans ROBOTS.TXT
     
  3. pp51
    pp51 WRInaute discret
    Inscrit:
    26 Août 2005
    Messages:
    86
    J'aime reçus:
    0
    Bonjour,

    Aujourd'hui c'est en NOINDEX, FOLLOW.

    Je préfèrerai le bloquer dans le robots.txt, mais je ne sais pas trop comment le faire avec l'usage des wild cards.

    Sais-tu comment faire ?

    Merci
     
  4. baud74
    baud74 WRInaute impliqué
    Inscrit:
    21 Juillet 2014
    Messages:
    586
    J'aime reçus:
    0
    /*/*/filtre
    à tester dans la page adéquate de GWT.
     
  5. sr
    sr WRInaute passionné
    Inscrit:
    15 Mai 2003
    Messages:
    1 149
    J'aime reçus:
    0
    Attention à une erreur fréquente.

    Si tu bloques le crawl avec le robots.txt, il ne verras pas que tes pages sont en noindex puisqu'il n'y aura pas accès, et du coup, pour peu qu'elles aient des liens internes ou externes, elles seront indexées.
     
Chargement...
Similar Threads - Bloquer crawl navigation Forum Date
Ras le bol ! Bloquer le crawling des fichiers Css et Javascript à Google Crawl et indexation Google, sitemaps 12 Septembre 2015
Marre du pompage de contenu, quel moyen pour bloquer les spamcrawler Administration d'un site Web 2 Avril 2010
lien variable à bloquer sur robots Développement d'un site Web ou d'une appli mobile 3 Mai 2020
Chrome va bloquer les ressources HTTP sur pages HTTPS Référencement Google 5 Octobre 2019
Bloquer accès admin Google Analytics par adresse IP Google Analytics 19 Septembre 2019
Comment bloquer les vidéos automatiques ? Facebook 28 Juillet 2019
Réseau de site backlinks : comment bloquer par htaccess ? Tests et études de cas 6 Juin 2019
Bloquer une section dans mon fichier robots.txt Débuter en référencement 9 Novembre 2018
Chrome 70 va bloquer de nombreux sites web Google : l'entreprise, les sites web, les services 10 Octobre 2018
WordPress Bloquer ou non WP include dans le robots.txt ? Référencement Google 5 Septembre 2018
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice