1. ⭐⭐⭐ Grosse PROMO en cours sur ma plateforme SEO My Ranking Metrics
    Rejeter la notice

Disallow fichiers robots de facebook

Discussion dans 'Débuter en référencement' créé par elhamdouny, 16 Juillet 2012.

  1. elhamdouny
    elhamdouny Nouveau WRInaute
    Inscrit:
    19 Septembre 2007
    Messages:
    6
    J'aime reçus:
    0
    Bonjour,
    J'ai exploré le fichier robots.txt de facebook, j'ai trouvé à la fin du fichier:
    User-agent: *
    Disallow: /

    ce que je sais si j'ajoute ces mots dans mon fichier robots.txt mon site sera totalement bloqué.

    Est ce qu'il y'a quelqu'un qui peut m'expliquer ?
     
  2. Supermaury
    Supermaury WRInaute discret
    Inscrit:
    25 Mars 2009
    Messages:
    143
    J'aime reçus:
    4
    Bonjour.

    Si tu les ajoutes au début de ton fichier, c'est clair que tu bloques tout.

    Par contre, si tu regardes ce qu'a fait Facebook, c'est différent.

    Les règles se suivent dans l'ordre donc il autorise les bots des moteurs leader (Google, Bing, Baidu, Yandex pour ne citer qu'eux) en leur bloquant l'accès à seulement certaines pages.

    Et l'instruction de fin en censée bloquer tous les autres bots.

    @++
     
  3. elhamdouny
    elhamdouny Nouveau WRInaute
    Inscrit:
    19 Septembre 2007
    Messages:
    6
    J'aime reçus:
    0
    Merci bien compris
     
Chargement...
Similar Threads - Disallow fichiers robots Forum Date
Pagination : Disallow, No index, Canoniser - Qu'est-ce qu'on fait ? Référencement Google 15 Octobre 2019
Sites de test indexés malgré Disallow dans robots.txt Crawl et indexation Google, sitemaps 7 Juin 2019
est-il préférable de disallow des pages non indexées Crawl et indexation Google, sitemaps 29 Janvier 2019
Disallow à la place de noindex (optimisation du PageRank interne) Crawl et indexation Google, sitemaps 10 Août 2018
robots.txt avec Disallow:/*.php Débuter en référencement 23 Juin 2018
Problème et couverture de l'index et de Disallow Problèmes de référencement spécifiques à vos sites 2 Mai 2018
Cocon sémantique, nofollow et disallow au troisième niveau Référencement Google 9 Novembre 2017
Robots.txt et syntaxe de Disallow Crawl et indexation Google, sitemaps 2 Juin 2017
Comment interdire le crawl des pages de faibles valeurs (Noindex ; Nofollow ; Disallow ?) Débuter en référencement 22 Mars 2017
Sitemaps images et disallow repertoire Crawl et indexation Google, sitemaps 20 Mars 2017
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice