Disallow et noindex pour des pages filtres

Discussion dans 'Débuter en référencement' créé par Beakido177, 11 Juin 2015.

Tags:
  1. Beakido177
    Beakido177 WRInaute discret
    Inscrit:
    11 Mars 2013
    Messages:
    58
    J'aime reçus:
    1
    Bonjour,

    J'ai des pages que je ne souhaite ni faire suivre par les MR, ni indexer. Je précise qu'elle n'ont pas encore été mises en ligne.
    Il me semble que la meilleure façon de faire est de mettre un disallow dans le fichier robots.txt pour empêcher les moteurs d'aller les crawler ? Et de rajouter un noindex sur ces pages au cas où les MR décideraient tout de même de les suivre ?

    Mais je lis sur certains blogs et dans l'aide de Google qu'il ne faut pas bloquer le suivi des pages qu'on ne souhaite pas voir indexer, sinon Google ne peut pas accéder à la balise noindex. Mais cela ne s'applique-t-il pas uniquement si les pages ont déjà été indexées ? Car normalement, si Google ne les suit pas il ne peut pas les indexer, si ? Et si au pire il les suit, il verra le noindex, non ?

    Autre question, les pages que je souhaite ne pas faire suivre par Google ne sont pas rattachées à un répertoire et sont des URL générées par des paramètres de filtres. Elles sont de type : /mediatheque?themes=1&type=10

    Existe-il un moyen de toutes les mettre en disallow sans avoir à les lister une par une dans le fichier robots.txt ? car cela ne risque-t-il pas de saturer le fichier ?

    Merci d'avance de bien vouloir m'éclairer :eek:
     
    #1 Beakido177, 11 Juin 2015
  2. nza2k
    nza2k WRInaute impliqué
    Inscrit:
    16 Janvier 2004
    Messages:
    898
    J'aime reçus:
    2
    Hello,

    Un
    Code:
    Disallow: /mediatheque
    devrait suffire pr le robots.txt
    Attention tout de même si des pages "normales" ont une url démarrant par cette chaine de caractères.

    Si les pages ne sont pas encore en ligne, pourquoi pas combiner en effet des restrictions sur le fichier robots.txt Et via la meta robots
     
    #2 nza2k, 11 Juin 2015
  3. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 939
    J'aime reçus:
    80
    Si elles n'ont pas encore été indexées, ta solution est la bonne.
     
    #3 UsagiYojimbo, 11 Juin 2015
  4. Beakido177
    Beakido177 WRInaute discret
    Inscrit:
    11 Mars 2013
    Messages:
    58
    J'aime reçus:
    1
    Merci beaucoup pour vos réponses, c'est plus clair comme ça !
     
    #4 Beakido177, 11 Juin 2015
  5. Beakido177
    Beakido177 WRInaute discret
    Inscrit:
    11 Mars 2013
    Messages:
    58
    J'aime reçus:
    1
    C'est le cas malheureusement. Un Disallow:/mediatheque? ne pourrait pas marcher ? :)
     
    #5 Beakido177, 11 Juin 2015
  6. Beakido177
    Beakido177 WRInaute discret
    Inscrit:
    11 Mars 2013
    Messages:
    58
    J'aime reçus:
    1
    Bonjour,

    Est-ce que si je mets Disallow: /*?type=, cela indique bien aux moteurs de recherche ne pas suivre les pages filtres de ma rubrique médiathèque (/mediatheque?type=9&themes=4), mais que pour autant les pages normales de ma rubrique pourront elles être suivies ? Je précise que ce type de filtres ne se trouvent que sur cette catégorie donc pas de risque de donner une directive pour une autre rubrique.

    Merci d'avance!
     
    #6 Beakido177, 12 Juin 2015
  7. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 180
    J'aime reçus:
    1
    perso je chercherais pas à bloquer le crawl avec le robots.txt, j'utiliserais le meta noindex c'est certains mais je ne mettrais pas de nofollow.
     
    #7 zeb, 12 Juin 2015
  8. Beakido177
    Beakido177 WRInaute discret
    Inscrit:
    11 Mars 2013
    Messages:
    58
    J'aime reçus:
    1
    Salut Zeb,
    Merci pour ta réponse. Mais pourquoi? Si elles n'ont pas d'intérêt en terme de sémantique, pourquoi ne pas demander aux robots de ne pas perdre leur temps à aller les crawler ?
    J'aimerais connaitre ton point de vue :)
     
    #8 Beakido177, 12 Juin 2015
  9. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 180
    J'aime reçus:
    1
    le robots txt c'est bien mais bon tu peux être amené a crawler pour autre chose comme la pub par exemple ... le noindex suffit a les exclure des indexs ... on ne sais jamais elles peuvent recevoir un lien (donc du jus) d'ou le follow.
     
    #9 zeb, 12 Juin 2015
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Disallow noindex filtres Forum Date
Disallow à la place de noindex (optimisation du PageRank interne) Crawl et indexation Google, sitemaps 10 Août 2018
Comment interdire le crawl des pages de faibles valeurs (Noindex ; Nofollow ; Disallow ?) Débuter en référencement 22 Mars 2017
Balise Noindex ou Disallow dans robots.txt Référencement Google 15 Septembre 2015
dans un site python (Django) ce qu'on doit mettre dans le disallow Débuter en référencement 8 Novembre 2021
Juste un Disallow Crawl et indexation Google, sitemaps 14 Juillet 2021
Juste un Disallow Crawl et indexation Google, sitemaps 1 Juin 2021
Lien obfusqué avec le fichier JS en Disallow Débuter en référencement 29 Mai 2021
Search Console - Disallow /Feed/ Crawl et indexation Google, sitemaps 7 Juin 2020
J'ai tout Disallow pendant 10 jours! Référencement Google 29 Janvier 2020
Pagination : Disallow, No index, Canoniser - Qu'est-ce qu'on fait ? Référencement Google 15 Octobre 2019