Optimiser le crawl Google

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Jeanne5, 10 Février 2014.

  1. Jeanne5
    Jeanne5 WRInaute occasionnel
    Inscrit:
    4 Juillet 2013
    Messages:
    423
    J'aime reçus:
    22
    Bonjour,

    Prenons un cas d'école, enfin un cas qui m'intéresse ! :lol:

    J'ai sur un site des pages de profil de membres en très grand nombre avec peu de contenus donc mis en noindex depuis Panda (même si elles ont un intérêt pour les visiteurs).
    Ces pages sont linkées un peu partout sur le site quand un membre intervient.

    Les pages de profils représentent les 9/10ème des pages du site même si en noindex.

    Donc google passe bcp de temps à les crawler alors que ca a peu d'intérêt.

    Je voudrais donc l'en empecher en masquant ces liens.

    - J'ai pensé au Nofollow sur les liens vers ces pages (mais je ne veux pas donner à GG l'impression de faire du PR Sculpting et donc de la suroptimisation).

    - ou à du javascript (mais j'ai l'impression que GG l’interprète de mieux en mieux et que ca aurait peut-être le même effet).

    Comment feriez-vous ?

    Merci.
     
  2. M&B Multimédia
    M&B Multimédia WRInaute passionné
    Inscrit:
    1 Octobre 2009
    Messages:
    1 117
    J'aime reçus:
    0
  3. anemone-clown
    anemone-clown WRInaute passionné
    Inscrit:
    11 Novembre 2007
    Messages:
    1 589
    J'aime reçus:
    18
    Si tu utilises un CMS classique, pourquoi ne pas simplement modifier les templates afin de ne pas inclure les liens vers les pages "membres"? Généralement, ce n'est pas très compliqué de modifier les templates pour supprimer des liens. Tu ne laisses le lien du membre que dans les messages/interventions d'une discussion.

    Eventuellement, en plus du "noindex" dans les pages membres, ajoute "noarchive" dans la meta robots (mais laisse le follow si tu as des liens qui pointent vers des pages de ton site)! Ca devrait éviter aux robots de venir trop souvent.
     
  4. Jeanne5
    Jeanne5 WRInaute occasionnel
    Inscrit:
    4 Juillet 2013
    Messages:
    423
    J'aime reçus:
    22
    Merci de vos retours. Il s'agit d'un dev spécifique donc que je maitrise de A à Z. Je peux donc faire "facilement" ce que je veux.

    Je ne souhaite pas supprimer les liens car ils sont utiles aux visiteurs.
    Par contre je cherche la meilleure façon de les rendre invisibles à GG pour qu'il ne crawle pas de (nombreuses) pages en "noindex" inutilement et ne gaspillent pas sa capacité de crawl de mon site sur ces pages.

    Si je les bloque au niveau du robots.txt, est-ce qu'il ne va pas tout de même fréquemment venir essayer de les crawler pour se voir refuser l'accès ?
     
  5. colonies
    colonies WRInaute occasionnel
    Inscrit:
    10 Septembre 2006
    Messages:
    481
    J'aime reçus:
    53
  6. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 417
    J'aime reçus:
    0
    moi je ferais un répertoire virtuel pour les fiches des membres et je bloquerais ce répertoire aux robots
     
  7. Jeanne5
    Jeanne5 WRInaute occasionnel
    Inscrit:
    4 Juillet 2013
    Messages:
    423
    J'aime reçus:
    22
    Merci de vos retours.

    Est-ce que bloquer l'accés au robot ce n'est pas tout de même gaspiller de la puissance de crawl de GG (s i on admet que le Googlebot se limite à un nb de pages à visiter par jour/par site).

    Je ne vois pas la réponse claire à cette question dans le support google : https://support.google.com/webmasters/answer/156449?hl=fr

    Merci encore.
     
  8. colonies
    colonies WRInaute occasionnel
    Inscrit:
    10 Septembre 2006
    Messages:
    481
    J'aime reçus:
    53
    c'est pas clair ? 8O
     
  9. Jeanne5
    Jeanne5 WRInaute occasionnel
    Inscrit:
    4 Juillet 2013
    Messages:
    423
    J'aime reçus:
    22
    OK donc unanimité pour le robots.txt.

    Merci, ce n'était pas dans mes options et il n'y a pas plus simple à faire.

    (Je vous tiendrai au courant si ça baisse mon nombre de pages quotidien explorées par GGbot).
     
  10. Luci0lle
    Luci0lle Nouveau WRInaute
    Inscrit:
    21 Mars 2015
    Messages:
    1
    J'aime reçus:
    0
    Bonjour Jeanne,

    je relance ce topic, pour en savoir plus sur ce que vous avez décidé de faire, et quel a été le résultat ? (topic super intéressant)

    Merci merci merci
     
Chargement...
Similar Threads - Optimiser crawl Google Forum Date
Comment optimiser le référencement des fiches produits saisonniers e-commerce 6 Août 2019
Référencement local : optimiser pour les villes voisines Débuter en référencement 15 Mai 2019
Astuce Header dédié homepage pour optimiser le référencement Référencement Google 15 Mars 2019
Optimiser la vitesse d'une galerie GIF sur Wordpress Administration d'un site Web 21 Août 2018
Comment Optimiser Un Mot-Clé En Plusieurs Mots ? Débuter en référencement 3 Mars 2018
Que faire de plus pour optimiser le référencement de mon site ? Crawl et indexation Google, sitemaps 2 Mai 2017
Optimiser un site e-commerce e-commerce 20 Février 2017
Reduire et optimiser une requete sql Développement d'un site Web ou d'une appli mobile 8 Décembre 2016
Que signifie "optimiser une page pour un mot clef" ? Débuter en référencement 26 Novembre 2016
Optimiser le référencement de mon site Problèmes de référencement spécifiques à vos sites 28 Septembre 2016
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice