Répertoires dans robots.txt

Discussion dans 'Administration d'un site Web' créé par ortolojf, 1 Novembre 2003.

  1. ortolojf
    ortolojf WRInaute accro
    Inscrit:
    14 Août 2002
    Messages:
    3 560
    J'aime reçus:
    31

    Bonjour
    Ma question est simple:

    Dans l'aide de Wri sur la syntaxe du fichiers robots.txt les répertoires figurent sans slashe ( / ) à la fin du pathname.

    Est-il possible ou souhaitable d'écrire, par exemple:
    Code:
    User-agent: *
    Disallow: /images/
    Disallow: /robotstats/
    au lieu de:
    Code:
    User-agent: *
    Disallow: /images
    Disallow: /robotstats
    Cette dernière option est celle indiquée dans l'aide de Wri, mais n'est-il pas plus facile aux crawlers, de distinguer un répertoire d'un fichier, s'il se termine par un slashe ?

    Merci beaucoup de vos réponses.

    Jean Francois Ortolo

     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 663
    J'aime reçus:
    748
  3. ortolojf
    ortolojf WRInaute accro
    Inscrit:
    14 Août 2002
    Messages:
    3 560
    J'aime reçus:
    31

    Bonjour WebRankInfo

    J'ai regardé ce fichier robots.txt de google.com , et il y a les deux: Avec et sans slashes pour les directories.

    C'est vrai que j'aurais mieux fait de regarder avant de poser ma question, je ne savais pas que le fichier apparaitraît directement.

    Merci beaucoup de ta réponse.

    Jean Francois Ortolo

     
Chargement...
Similar Threads - Répertoires robots Forum Date
Robots.txt ne marche que si repertoires physiques ? Crawl et indexation Google, sitemaps 21 Janvier 2009
[regle] peut-on exclure les repertoires // dans robots.txt ? Problèmes de référencement spécifiques à vos sites 11 Janvier 2007
3 Questions : Mots clefs des repertoires / Robots.txt / MSN Débuter en référencement 3 Février 2006
un nom de domaine + répertoires par pays-langue cibles? Référencement international (langues, pays) 9 Février 2021
WordPress Conseil sur la bonne structure des URL en répertoires Problèmes de référencement spécifiques à vos sites 19 Août 2020
Domaine racine et sous répertoires Référencement international (langues, pays) 22 Avril 2020
Création d'une vue Google Analytics sans sous-répertoires Google Analytics 5 Mars 2020
Francophonie, alias ccTLD vers sous-répertoires dupliqués d'un .com Référencement international (langues, pays) 9 Juin 2018
Sous-domaines ou répertoires pour un gros site multilingue sur un .com ? Référencement international (langues, pays) 23 Février 2018
Passer plusieurs sous-domaine en 301 vers répertoires Débuter en référencement 18 Juillet 2017
Fil d'ariane et page dans des répertoires Débuter en référencement 25 Novembre 2016
Des sous domaines ou des repertoires pour un site multilangue ? Débuter en référencement 25 Novembre 2016
Site multilingue : pas de .com mais un .fr et des répertoires langues Référencement international (langues, pays) 25 Janvier 2016
Duplicata de pages sur différents répertoires de langues Référencement international (langues, pays) 4 Février 2015
SEO : structure et répertoires Problèmes de référencement spécifiques à vos sites 24 Août 2014
Organisation des URL avec répertoires et SEO Débuter en référencement 18 Juillet 2014
url rewriting masquer tous les répertoires URL Rewriting et .htaccess 16 Juin 2014
Faire désindexer certains répertoires Crawl et indexation Google, sitemaps 10 Juin 2014
Google indexe des sous-répertoires pourtant redirigés en 301 Crawl et indexation Google, sitemaps 29 Avril 2014
Help rewrite: marche à la la racine mais pas dans les répertoires URL Rewriting et .htaccess 21 Mars 2014