Disallow robots.txt

Discussion dans 'Débuter en référencement' créé par euwe, 4 Février 2010.

  1. euwe
    euwe WRInaute discret
    Inscrit:
    30 Novembre 2005
    Messages:
    83
    J'aime reçus:
    0
    huum

    Vous pensez quoi de ce fichier robots.txt ?

    User-Agent: *
    Disallow: /norobot/

    Je ne trouve rien sur cette cette instruction /norobot/ mais elle me parait hautement suspecte
     
  2. ben64btz
    ben64btz WRInaute discret
    Inscrit:
    9 Mai 2006
    Messages:
    179
    J'aime reçus:
    0
    ça me parait bizarre je n'ai jamais vu cette instruction mais même si ça marche ça reviens à ne rien écrire
     
  3. jcaron
    jcaron WRInaute accro
    Inscrit:
    13 Février 2004
    Messages:
    2 579
    J'aime reçus:
    0
    Ce n'est pas une instruction, mais un chemin. Ca veut juste dire que tout ce qui est dans /norobot/ ne doit pas être consulté par les robots. Du très classique, quoi.

    Jacques.
     
  4. euwe
    euwe WRInaute discret
    Inscrit:
    30 Novembre 2005
    Messages:
    83
    J'aime reçus:
    0
    Oui évidemment j'avais trouvé la réponse tout seul en prenant mon petit dej
    Un coup de paranoia :oops:
     
Chargement...
Similar Threads - Disallow robots Forum Date
Sites de test indexés malgré Disallow dans robots.txt Crawl et indexation Google, sitemaps 7 Juin 2019
robots.txt avec Disallow:/*.php Débuter en référencement 23 Juin 2018
Robots.txt et syntaxe de Disallow Crawl et indexation Google, sitemaps 2 Juin 2017
Balise Noindex ou Disallow dans robots.txt Référencement Google 15 Septembre 2015
Robots.txt + sous domaine disallow Débuter en référencement 11 Août 2014
Page de liens spécifiées disallow dans le robots.txt Netlinking, backlinks, liens et redirections 18 Mars 2014
Robots.txt ok à 100% mais lu comme disallow dans GWT et Bing ? Crawl et indexation Google, sitemaps 16 Décembre 2013
Disallow robots.txt et pages sattellites Crawl et indexation Google, sitemaps 19 Juillet 2012
Disallow fichiers robots de facebook Débuter en référencement 16 Juillet 2012
Robots.txt : Disallow des pages sport-xxxx.html sans Disallow de sport-equestre.html Administration d'un site Web 8 Décembre 2010
Robots.txt Disallow:repertoire mais pas une URL Crawl et indexation Google, sitemaps 30 Octobre 2010
Disallow tag dans robots.txt Crawl et indexation Google, sitemaps 26 Octobre 2010
Robots.txt tout disallow sauf page accueil ? Problèmes de référencement spécifiques à vos sites 1 Février 2009
Cacher un dossier par Disallow et robots.txt Débuter en référencement 27 Août 2008
Robots.txt - Disallow pour des pages avec paramètre Google : l'entreprise, les sites web, les services 20 Octobre 2006
Robots : Allow et Disallow ? Crawl et indexation Google, sitemaps 20 Avril 2006
Robots.txt pour phpbb : Disallow de certaines urls Problèmes de référencement spécifiques à vos sites 30 Août 2004
dans un site python (Django) ce qu'on doit mettre dans le disallow Débuter en référencement 8 Novembre 2021
Juste un Disallow Crawl et indexation Google, sitemaps 14 Juillet 2021
Juste un Disallow Crawl et indexation Google, sitemaps 1 Juin 2021