Interdire le crawl d une partie du site

Discussion dans 'Débuter en référencement' créé par T-aimi, 15 Octobre 2018.

  1. T-aimi
    T-aimi Nouveau WRInaute
    Inscrit:
    20 Mai 2015
    Messages:
    16
    J'aime reçus:
    0
    Bonjour,

    J ai un site internet dans le domaine de la rencontre depuis 2012, et je cherche a ameliorer son referencement naturel (le site s est mangé un pingouin en 2013 apres un beau début) : www.t-aimi.fr .

    J ai pris quelques avis et tous sont d'accord : mes pages en no-index (les profils) soit 99% du site me porte préjudice notament au niveau du crawl car mes pages interessantes du coup ne doivent pas etre crawler souvent. J ai mis ces pages en no index il y a 2 ans car le contenu est pauvre et tres repetitif mais ce sont les pages qui interessent le plus les internautes donc je souhaite les laisser en acces libre.

    Si je mets ceci dans mon robot txt :

    User-agent: *
    Disallow: /profile/
    Disallow: /membres/

    Est ce que c est bien bon pour empecher le crawl de cette partie du site, les profils ayant une url en /profile/blablabla et les pages d affiches des profils en /membres/blabla

    Je ne voudrais pas faire de bourde.

    merci
     
  2. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    2 064
    J'aime reçus:
    367
    Oui. Cela dit je ne pense pas que ça changera quelque chose par rapport aux noindex, Google sait reconnaître les pages qui ont besoin d'être souvent crawlées (= pages qui ont du contenu mis à jour depuis le dernier crawl).
     
Chargement...
Similar Threads - Interdire crawl partie Forum Date
Comment interdire le crawl des pages de faibles valeurs (Noindex ; Nofollow ; Disallow ?) Débuter en référencement 22 Mars 2017
Interdire une plage d'IP dans le .htaccess via "Deny from" URL Rewriting et .htaccess 9 Septembre 2022
Pourquoi ne pas utiliser le robots.txt pour interdire l'indexation ? Débuter en référencement 14 Avril 2022
Site d'essai : quelle méthode pour interdire l'accès ? Développement d'un site Web ou d'une appli mobile 19 Octobre 2020
Interdire l'indexation d'url interne en double Référencement Google 7 Janvier 2020
Néfaste au référencement : interdire aux visiteurs US ? Problèmes de référencement spécifiques à vos sites 10 Décembre 2019
L'attribut data-nosnippet pour interdire des textes dans les snippets Référencement Google 26 Septembre 2019
Interdire téléchargement fichiers Demandes d'avis et de conseils sur vos sites 18 Juillet 2019
Ai-je le droit d'interdire le partage du lien de ma chaîne YouTube(pour une raison quelconque). YouTube, Google Images et Google Maps 16 Décembre 2018
Interdire indexation d'un contenu Administration d'un site Web 11 Septembre 2017
Interdire l'accès au un site aux concurrents Droit du web (juridique, fiscalité...) 30 Janvier 2017
interdire l'accés de certains pays avec le ht.access URL Rewriting et .htaccess 15 Mai 2016
Interdire Iframe mais autoriser certains sites Développement d'un site Web ou d'une appli mobile 11 Mai 2016
Robots.txt: interdire un dossier mais autoriser une page de ce dossier Crawl et indexation Google, sitemaps 3 Février 2016
Interdire accès sauf pour . Googlebot URL Rewriting et .htaccess 22 Janvier 2014
Interdire un référencement sur un site tiers Problèmes de référencement spécifiques à vos sites 12 Novembre 2013
Interdire la mise en cache des images URL Rewriting et .htaccess 22 Août 2013
Comment interdire une redirection ? Netlinking, backlinks, liens et redirections 13 Août 2013
Comment interdire TOUS les moteurs de recherche en utilisant le htaccess? URL Rewriting et .htaccess 7 Mai 2013
Interdire la lecture d'un fichier "texte image"aux Robot txt Débuter en référencement 1 Mars 2013