Fichier robots.txt ma syntaxe est-elle correcte ?

Discussion dans 'Référencement Google' créé par troops, 19 Septembre 2003.

  1. troops
    troops WRInaute occasionnel
    Inscrit:
    16 Mars 2003
    Messages:
    449
    J'aime reçus:
    0
    Bonjour, la syntaxe de mon fichier robots.txt est-elle correcte, je souhaite que Scooter cesse d'explorer les répertoires mentionnés, étant donné qu'il n'existe pas :) Merci pour votre aide messieurs dames :)

    Code:
    User-agent: Scooter
    
    Disallow: /en/EN/
    Disallow: /en/DT/
    Disallow: /en/JP/
    Disallow: /en/SP/
    Disallow: /ds/EN/
    Disallow: /ds/DT/
    Disallow: /ds/JP/
    Disallow: /ds/SP/
    Disallow: /jp/EN/
    Disallow: /jp/DT/
    Disallow: /jp/JP/
    Disallow: /jp/SP/
    Disallow: /sp/EN/
    Disallow: /sp/DT/
    Disallow: /sp/JP/
    Disallow: /sp/SP/
     
  2. mahefarivony
    mahefarivony WRInaute accro
    Inscrit:
    14 Octobre 2002
    Messages:
    8 081
    J'aime reçus:
    0
    faut un espace entre les 2 premieres lignes ?
     
  3. Mirgolth
    Mirgolth WRInaute occasionnel
    Inscrit:
    14 Octobre 2002
    Messages:
    417
    J'aime reçus:
    0
    Non, il ne faut pas d'espace entre U-A: et Disallow:
    Code:
    User-agent: Scooter
    Disallow: /en/EN/
    [...]
    Voir : A Method for Web Robots Control (en anglais)

    Mirgolth
     
  4. troops
    troops WRInaute occasionnel
    Inscrit:
    16 Mars 2003
    Messages:
    449
    J'aime reçus:
    0
    J'viens d'essayé... M'affiche pas d'erreur cette outils donc ca doit aller... J'espere seulement que j'ai pas tout bloquer LOL
     
  5. troops
    troops WRInaute occasionnel
    Inscrit:
    16 Mars 2003
    Messages:
    449
    J'aime reçus:
    0
    Merci Mirgolth :)
     
  6. Mirgolth
    Mirgolth WRInaute occasionnel
    Inscrit:
    14 Octobre 2002
    Messages:
    417
    J'aime reçus:
    0
    De rien,

    Pour ceux qui veulent plus d'infos, je cite les parties de la norme concernant cette partie de la syntaxe dans ce message : Google ne respecte pas les robots.txt ?

    Mirgolth
     
  7. troops
    troops WRInaute occasionnel
    Inscrit:
    16 Mars 2003
    Messages:
    449
    J'aime reçus:
    0
    Tiens une autre question au passage. Est-il possible de demandé expréssement à Scooter dans mon cas, de lire le fichier robots.txt pour qu'il continue sa balade avec les nouvelles régles ? Parce que la je continue de recevoir des 404 c super lourd dingue
    Merci
     
  8. lululelutin
    lululelutin WRInaute discret
    Inscrit:
    26 Juin 2003
    Messages:
    59
    J'aime reçus:
    0
Chargement...
Similar Threads - Fichier robots syntaxe Forum Date
Syntaxe robots.txt -- fichier finissant par Référencement Google 28 Avril 2007
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
Page de test et fichier Robots.txt Crawl et indexation Google, sitemaps 9 Octobre 2019
Search Console un fichier robots.txt pour chaque protocole Débuter en référencement 15 Août 2019
Search Console bloquée par le fichier robots.txt Crawl et indexation Google, sitemaps 25 Juin 2019
Search Console Passage de HTTP à HTTPS (Fichiers ROBOTS.TXT et SITEMAP) 0 Crawl et indexation Google, sitemaps 16 Mai 2019
"Indexée malgré le blocage par le fichier robots.txt" Que faire si ce message ? Crawl et indexation Google, sitemaps 12 Février 2019
noindex fr-fr dans fichier robots.txt avec translatepress Référencement international (langues, pays) 18 Décembre 2018
Indexée malgré le blocage par le fichier robots.txt Débuter en référencement 5 Décembre 2018
Bloquer une section dans mon fichier robots.txt Débuter en référencement 9 Novembre 2018
Mon site est bloqué par le fichier robots.txt Crawl et indexation Google, sitemaps 12 Septembre 2018
fichier robots.txt bloquer paramètre p= Crawl et indexation Google, sitemaps 4 Septembre 2018
Où puis-je configurer le fichier robots.txt et le htaccess ? Débuter en référencement 10 Avril 2018
Résolu Toutes les URL bloquées par le fichier robots.txt Crawl et indexation Google, sitemaps 28 Mars 2018
Prise en compte du fichier robots.txt Crawl et indexation Google, sitemaps 22 Avril 2017
Mon fichier robots.txt wordpress Développement d'un site Web ou d'une appli mobile 24 Octobre 2016
Ne pas indexer une page avec le fichier robots.txt Débuter en référencement 20 Juillet 2016
Page panier indexée plusieurs fois (duplicate content) ainsi que robots.txt et fichier map Crawl et indexation Google, sitemaps 17 Mars 2016
La description de ce résultat n'est pas accessible à cause du fichier robots.txt Crawl et indexation Google, sitemaps 31 Juillet 2015