Désindexation de la pagination via le robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par ckocher, 23 Septembre 2013.

  1. ckocher
    ckocher WRInaute discret
    Inscrit:
    26 Mars 2013
    Messages:
    119
    J'aime reçus:
    0
    Bonjour tout le monde,

    Depuis un petit moment, Google indexe mes différentes pages (Home, pages "catégorie", etc.). Ce qui pose quelques soucis de balises dupliquées comme la title.

    Toutes les URL liées à des pages "paginées" comportent une structure en commun : mondomaine.fr/page/2 ou encore mondomaine.fr/ma-categorie/page/3 par exemple.

    Est-il possible d'une part dans le robots.txt de mettre : disallow : */page/* ?
    Puis via une condition php "if pages paginées" = noindex ?

    Si quelqu'un a la bonne formulation pour le second point, je suis preneur :mrgreen: .

    Merci et bon début de semaine à tous :wink:
     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 978
    J'aime reçus:
    293
    si tu bloques dans le robots.txt, Google ne viendra plus crawler les pages, mais elles resteront dans son index. Donc si tu veux les désindexer, tu dois donc mettre du noindex dans les pages avec pagination.

    Edit : voir le dossier sur la pagination HTML et SEO
     
  3. ckocher
    ckocher WRInaute discret
    Inscrit:
    26 Mars 2013
    Messages:
    119
    J'aime reçus:
    0
    Merci Olivier. J'en avais bien peur mais pour que cela ne se reproduise plus, je dois faire les deux je suppose.

    Quelqu'un a une idée sur WordPress de la condition "if page" à renseigner svp ? Je vais chercher de mon côté ce soir :mrgreen:

    Merci
     
  4. drogbadvc
    drogbadvc Nouveau WRInaute
    Inscrit:
    10 Novembre 2006
    Messages:
    7
    J'aime reçus:
    0
    Salut, voici le code que j'ai mis dans mon header.php :

    Code:
    <?php if((is_single() || is_category() || is_home()) && (!is_paged())){
    			echo "<meta name=\"robots\" content=\"index,follow\"/>\n";
    		}else{
    			echo "<meta name=\"robots\" content=\"noindex,follow\"/>\n";
    		}?>
    Cela va mettre une balise robot avec index et follow sur l'index, les catégories, les pages, et les articles.

    Pour le reste comprenant les paginations, c'est du noindex et follow mais tu peux ajouter du nofollow.

    Par contre, je bloque les tags donc rajoute un
    Code:
    is_tag
    pour indexer les tags.

    J’espère que cela va t'aider.
     
  5. noren
    noren WRInaute accro
    Inscrit:
    8 Avril 2011
    Messages:
    2 903
    J'aime reçus:
    14
    Les balises dupliquées (title...) ne pose aucun soucis du moment qu'il ne s'agit pas d'un DC au niveau du contenu de la page. Et tu peux toujours sur chaque page identifier automatiquement celle-ci et changer légèrement le title et meta description. Ajoute Exemple de title : Nom catégorie - Page X

    Si chaque page référence des articles ou des produits différents je trouve dommage de ne pas les référencer
     
  6. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 978
    J'aime reçus:
    293
    ça ne sert à rien d'indiquer "index,follow" car c'est le fonctionnement par défaut
    sinon c'est ça le principe en effet
     
  7. drogbadvc
    drogbadvc Nouveau WRInaute
    Inscrit:
    10 Novembre 2006
    Messages:
    7
    J'aime reçus:
    0
    Je sais très bien que cela ne sert à rien mais c'est plus facile pour comprendre le principe du code. Sinon il aurait fallu mettre Echo NULL. Il aurait peut être été embrouillé. Je trouve que c'est plus clair pour celui qui vient lire ce petit bout de code.
     
  8. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 978
    J'aime reçus:
    293
    ou alors il suffit d'inverser la condition sur le test ;-)
     
  9. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 196
    J'aime reçus:
    1
    je pense que ce qui aurait été plus limpide (et moins gourmand) encore aurait été de faire un test sur la variable de pagination pour mettre le noindex au lieu des tester tout le reste.
     
  10. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 874
    J'aime reçus:
    71
    Le mieux étant à mon sens de gérer la pagination avec prev / next (ce qui est qui plus est recommandé par Google)
     
  11. ckocher
    ckocher WRInaute discret
    Inscrit:
    26 Mars 2013
    Messages:
    119
    J'aime reçus:
    0
    Merci à tous pour vos retours !

    Je pense partir sur la proposition de UsagiYojimbo qui me paraît pas mal adaptée à mon besoin :)

    Bonne journée
     
  12. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 196
    J'aime reçus:
    1
    Note au passage que quand tu as un système de navigation paginé avec next et prev (donc des liens avec le "rel" qui va bien), Google te présente dans les SERPs sous forme de ton titre avec une numérotation des pages genre 12 - "montitre de page"
     
  13. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 978
    J'aime reçus:
    293
    je précise qu'il ne s'agit pas de la balise a href mais d'une balise link dans l'entête HTML
     
  14. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 196
    J'aime reçus:
    1
    Que je n'utilise pas sur ce type de page c'est pourquoi je parle de l'effet des liens sur les SERPs (notion complémentaire sur la pagination des indexs)
    genre :
    Code:
    <a href="..." rel="prev">6</a><span class="current">7</span><a href="..." rel="next">8</a>
    en image :
    [​IMG]
     
  15. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 978
    J'aime reçus:
    293
    moi aussi j'avais cru que rel=next pouvait se mettre sur une balise a, mais dans la doc je ne vois nulle part ça
    et toi ?

    de toutes façons je ne trouve pas que ce soit une bonne idée
    ça sert pour les contenus qui s'étendent sur plusieurs pages, genre un gros article
    je ne pense pas que ce soit pour les listings
     
  16. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 196
    J'aime reçus:
    1
    ça semble être pris en compte pourtant, je n'ai pas retrouvé la doc officielle.

    qque éléments ici
     
  17. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 196
    J'aime reçus:
    1
    Ce qui semble aussi être mis en évidence par l'enchainement de liens que tu trouve sur la doc du W3C et qui donne "rel" comme attribut possible pour l'élément "a" (anchor)

    http://www.w3.org/TR/html401/struct/links.html#h-12.2 traite des relations issus des liens <a>
    qui renvoie directement sur l'attribut rel de <link> http://www.w3.org/TR/html401/types.html#type-links
     
  18. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 196
    J'aime reçus:
    1
    j'ajoute rapidement ce qui faisait parti d'un post que j'ai supprimé car la doc w3c est un peut "nébuleuse" qu'une page index bien construite (liens + snipets uniques) peut être considéré dans le cas d'un "listing de rubrique" structuré comme une page viable a l'indexation présentant un contenu important (parfois + de 1000 mots dans mon cas) sur un thème donné (structuration thématique des rubriques du site) donc pertinente potentiellement pour un internaute qui trouvera des cours résumés (snipet) de contenu plus développé sur les pages qu'elle propose en lien direct.

    D'où l'idée de les faire indexer parfois en prenant la précaution SEO d'indiquer que c'est une suite de pages type "listing" (dans mon cas uniquement via les liens en effet).
     
  19. dudd
    dudd WRInaute discret
    Inscrit:
    9 Mars 2008
    Messages:
    80
    J'aime reçus:
    0
    moi je suis les recommandations de google, afficher dans la page catégorie tous les articles et suppression simple de l'indexation et le follow des pagination:

    Code:
    <?php if ( is_paged() ) { ?>
    <meta name="robots" content="noindex,nofollow" />
    <?php } ?>
     
Chargement...
Similar Threads - Désindexation pagination robots Forum Date
Désindexation Bing Débuter en référencement 27 Août 2019
Désindexation pdf via htaccess Crawl et indexation Google, sitemaps 9 Juillet 2019
Bug Google : désindexation de pages Référencement Google 7 Avril 2019
Produits plus fabriqués et plus en stock : suppression, désindexation ou redirection ? Débuter en référencement 21 Mars 2019
WordPress Désindexation des fichiers "attachements" dans Google ? Référencement Google 2 Novembre 2018
Désindexation de mes images suite au passage à l'index mobile-first (MFI) Problèmes de référencement spécifiques à vos sites 27 Octobre 2018
Désindexation de mon site Débuter en référencement 8 Octobre 2018
Désindexation page avec sitemap ou GSC Débuter en référencement 8 Octobre 2018
Désindexation images par Google Crawl et indexation Google, sitemaps 4 Octobre 2018
Désindexation sites suite à un problème robot spam Crawl et indexation Google, sitemaps 13 Septembre 2018
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice