Interdire le crawl d une partie du site

Discussion dans 'Débuter en référencement' créé par T-aimi, 15 Octobre 2018.

  1. T-aimi
    T-aimi Nouveau WRInaute
    Inscrit:
    20 Mai 2015
    Messages:
    16
    J'aime reçus:
    0
    Bonjour,

    J ai un site internet dans le domaine de la rencontre depuis 2012, et je cherche a ameliorer son referencement naturel (le site s est mangé un pingouin en 2013 apres un beau début) : www.t-aimi.fr .

    J ai pris quelques avis et tous sont d'accord : mes pages en no-index (les profils) soit 99% du site me porte préjudice notament au niveau du crawl car mes pages interessantes du coup ne doivent pas etre crawler souvent. J ai mis ces pages en no index il y a 2 ans car le contenu est pauvre et tres repetitif mais ce sont les pages qui interessent le plus les internautes donc je souhaite les laisser en acces libre.

    Si je mets ceci dans mon robot txt :

    User-agent: *
    Disallow: /profile/
    Disallow: /membres/

    Est ce que c est bien bon pour empecher le crawl de cette partie du site, les profils ayant une url en /profile/blablabla et les pages d affiches des profils en /membres/blabla

    Je ne voudrais pas faire de bourde.

    merci
     
  2. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    1 193
    J'aime reçus:
    141
    Oui. Cela dit je ne pense pas que ça changera quelque chose par rapport aux noindex, Google sait reconnaître les pages qui ont besoin d'être souvent crawlées (= pages qui ont du contenu mis à jour depuis le dernier crawl).
     
Chargement...
Similar Threads - Interdire crawl partie Forum Date
Comment interdire le crawl des pages de faibles valeurs (Noindex ; Nofollow ; Disallow ?) Débuter en référencement 22 Mars 2017
L'attribut data-nosnippet pour interdire des textes dans les snippets Référencement Google 26 Septembre 2019
Interdire téléchargement fichiers Demandes d'avis et de conseils sur vos sites 18 Juillet 2019
Ai-je le droit d'interdire le partage du lien de ma chaîne YouTube(pour une raison quelconque). YouTube, Google Images et Google Maps 16 Décembre 2018
Interdire indexation d'un contenu Administration d'un site Web 11 Septembre 2017
Interdire l'accès au un site aux concurrents Droit du web (juridique, fiscalité...) 30 Janvier 2017
interdire l'accés de certains pays avec le ht.access URL Rewriting et .htaccess 15 Mai 2016
Interdire Iframe mais autoriser certains sites Développement d'un site Web ou d'une appli mobile 11 Mai 2016
Robots.txt: interdire un dossier mais autoriser une page de ce dossier Crawl et indexation Google, sitemaps 3 Février 2016
Interdire accès sauf pour . Googlebot URL Rewriting et .htaccess 22 Janvier 2014
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice