Robots.txt Le fichier bloque l'accès à mon site

Discussion dans 'Administration d'un site Web' créé par anaya70, 22 Juin 2006.

  1. anaya70
    anaya70 WRInaute discret
    Inscrit:
    16 Juin 2005
    Messages:
    118
    J'aime reçus:
    0
    Bonjour à tous ,

    Une question qui me fait flipper. j'ai mis un robots.txt à la reacine de mon site :

    Code:
    User-agent: *
    
    User-agent: Alexibot
    User-agent: asterias
    User-agent: BackDoorBot/1.0
    User-agent: Black Hole
    User-agent: BlowFish/1.0
    User-agent: BotALot
    User-agent: BuiltBotTough
    User-agent: Bullseye/1.0
    User-agent: BunnySlippers
    User-agent: Cegbfeieh
    User-agent: CheeseBot
    User-agent: CherryPicker
    User-agent: CherryPickerElite/1.0
    User-agent: CherryPickerSE/1.0
    User-agent: CopyRightCheck
    User-agent: cosmos
    User-agent: Crescent
    User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
    User-agent: DISCo Pump 3.1
    User-agent: DittoSpyder
    User-agent: EmailCollector
    User-agent: EmailSiphon
    User-agent: EmailWolf
    User-agent: EroCrawler
    User-agent: ExtractorPro
    User-agent: Foobot
    User-agent: Harvest/1.5
    User-agent: hloader
    User-agent: httplib
    User-agent: humanlinks
    User-agent: InfoNaviRobot
    User-agent: JennyBot
    User-agent: Kenjin Spider
    User-agent: LexiBot
    User-agent: libWeb/clsHTTP
    User-agent: LinkextractorPro
    User-agent: LinkScan/8.1a Unix
    User-agent: LinkWalker
    User-agent: lwp-trivial
    User-agent: lwp-trivial/1.34
    User-agent: Mata Hari
    User-agent: Microsoft URL Control - 5.01.4511
    User-agent: Microsoft URL Control - 6.00.8169
    User-agent: MIIxpc
    User-agent: MIIxpc/4.2
    User-agent: Mister PiX
    User-agent: moget
    User-agent: moget/2.1
    User-agent: NetAnts
    User-agent: NetAttache
    User-agent: NetAttache Light 1.1
    User-agent: NetMechanic
    User-agent: NICErsPRO
    User-agent: Offline Explorer
    User-agent: Openfind
    User-agent: Openfind data gathere
    User-agent: ProPowerBot/2.14
    User-agent: ProWebWalker
    User-agent: psbot
    User-agent: QueryN Metasearch
    User-agent: RepoMonkey
    User-agent: RepoMonkey Bait & Tackle/v1.01
    User-agent: RMA
    User-agent: SiteSnagger
    User-agent: SpankBot
    User-agent: spanner
    User-agent: SuperBot
    User-agent: SuperBot/2.6
    User-agent: suzuran
    User-agent: Szukacz/1.4
    User-agent: Teleport
    User-agent: Telesoft
    User-agent: The Intraformant
    User-agent: TheNomad
    User-agent: TightTwatBot
    User-agent: Titan
    User-agent: toCrawl/UrlDispatcher
    User-agent: True_Robot
    User-agent: True_Robot/1.0
    User-agent: turingos
    User-agent: URLy Warning
    User-agent: VCI
    User-agent: VCI WebViewer VCI WebViewer Win32
    User-agent: Web Image Collector
    User-agent: WebAuto
    User-agent: WebBandit
    User-agent: WebBandit/3.50
    User-agent: WebCopier
    User-agent: webcopy
    User-agent: WebEnhancer
    User-agent: WebmasterWorldForumBot
    User-agent: webmirror
    User-agent: WebReaper
    User-agent: WebSauger
    User-agent: website extractor
    User-agent: Website Quester
    User-agent: Webster Pro
    User-agent: WebStripper
    User-agent: WebStripper/2.02
    User-agent: WebZip
    User-agent: WebZip/4.0
    User-agent: Wget
    User-agent: Wget/1.5.3
    User-agent: Wget/1.6
    User-agent: WinHTTrack
    User-agent: WWW-Collector-E
    User-agent: Xenu's
    User-agent: Xenu's Link Sleuth 1.1c
    User-agent: Zeus
    User-agent: Zeus 32297 Webster Pro V2.9 Win32
    User-Agent: MJ12bot
    User-agent: HTTrack
    User-agent: HTTrack 3.0
    User-agent: TurnitinBot
    User-agent: QuepasaCreep 
    Disallow: /
    
    et en allant sur Google sitemaps et en consultant robots.txt analyse voila ce qui est ecris :

    est ce que j'ai fais une connerie et si oui laquelle ? merci d'avance
     
  2. serval2a
    serval2a WRInaute accro
    Inscrit:
    21 Mars 2005
    Messages:
    2 550
    J'aime reçus:
    0
    Code:
    User-agent: *
    
    
    Bonjour,

    Essaies en enlevant ces lignes puis resoumet.

    @+

    Edité : pour la précision un fichier robots.txt interdit, il n'autorise pas en l'occurence l'absence de mention laisse supposer que tu interdis à tous les robots, y compris google.
     
  3. doic
    doic WRInaute impliqué
    Inscrit:
    7 Novembre 2003
    Messages:
    950
    J'aime reçus:
    0
    Ca, ça veut dire "tous les bots"...

    Donc forcément, tu as beau déclarer ce que tu veux ensuite... ça ne change rien, tu t'adresses à TOUS LES BOTS ^^

    Pourquoi veux-tu désactiver tous ces bots au fait ???
     
  4. Remi L.
    Remi L. WRInaute impliqué
    Inscrit:
    6 Septembre 2003
    Messages:
    905
    J'aime reçus:
    0
    Ca marche, ça ?
    Jamais essayé... mais cela me semble un peu facile.
     
  5. anaya70
    anaya70 WRInaute discret
    Inscrit:
    16 Juin 2005
    Messages:
    118
    J'aime reçus:
    0
    en faite je n'ai pas très bien compris le contenue du .txt

    dans ce fichier je ne veux rien interdire, ce qui fait que ça ne sert à rien que je mette un robots.txt non.

    merci
     
  6. doic
    doic WRInaute impliqué
    Inscrit:
    7 Novembre 2003
    Messages:
    950
    J'aime reçus:
    0
    Voilà, si tu veux que tes pages soient accessibles à tous les robots, ne mets pas de robots.txt.

    Le robots.txt, c'est plutôt pour interdire l'accès à certains fichiers ou dossiers (un répertoire /admin/ par exemple)
     
  7. Bacteries
    Bacteries WRInaute passionné
    Inscrit:
    27 Mai 2004
    Messages:
    1 253
    J'aime reçus:
    0
    Vide le, le robots.txt peut te permettre d'empécher certains robots de venir sur certaines parties ou fichier de ton site.
     
  8. anaya70
    anaya70 WRInaute discret
    Inscrit:
    16 Juin 2005
    Messages:
    118
    J'aime reçus:
    0
    il suffit de le virer de la racine du site pour que je ne bloque plus rien , c'est ce que tu voulais dire par vide le ??
     
  9. anaya70
    anaya70 WRInaute discret
    Inscrit:
    16 Juin 2005
    Messages:
    118
    J'aime reçus:
    0
    j'ai viré le robots.txt et j'ai toujours le même message , dois je attendre une quelconque mise à jour ??

    merci
     
  10. keroin
    keroin WRInaute passionné
    Inscrit:
    29 Avril 2006
    Messages:
    1 501
    J'aime reçus:
    0
    Pour faire ton fichier robots.txt valide tu peux utiliser ce petit outil qui est très pratique et simple à utiliser
    => -http://www.mcanerin.com/EN/search-engine/robots-txt.asp
     
  11. anaya70
    anaya70 WRInaute discret
    Inscrit:
    16 Juin 2005
    Messages:
    118
    J'aime reçus:
    0
    merci :wink: , mais j'ai viré le robots.txt vu que je n'ai rien à interdire :oops:
     
  12. RyoSaeba
    RyoSaeba WRInaute discret
    Inscrit:
    16 Mars 2006
    Messages:
    85
    J'aime reçus:
    0
    bonjour,

    et si on veux interdire tous les robots ca suffit ?

    Code:
    User-agent: *
    Disallow: /
     
  13. serval2a
    serval2a WRInaute accro
    Inscrit:
    21 Mars 2005
    Messages:
    2 550
    J'aime reçus:
    0
    =>keroin
    Y en a un également en français. mais bon c'est vrai que le site est mal classé sur google. ;)

    =>RyoSaeba
    C'est la bonne instruction effectivement.
     
  14. RyoSaeba
    RyoSaeba WRInaute discret
    Inscrit:
    16 Mars 2006
    Messages:
    85
    J'aime reçus:
    0
    merci :)
     
Chargement...
Similar Threads - Robots fichier bloque Forum Date
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Search Console bloquée par le fichier robots.txt Crawl et indexation Google, sitemaps 25 Juin 2019
Bloquer une section dans mon fichier robots.txt Débuter en référencement 9 Novembre 2018
Mon site est bloqué par le fichier robots.txt Crawl et indexation Google, sitemaps 12 Septembre 2018
fichier robots.txt bloquer paramètre p= Crawl et indexation Google, sitemaps 4 Septembre 2018
Résolu Toutes les URL bloquées par le fichier robots.txt Crawl et indexation Google, sitemaps 28 Mars 2018
Photos bloquées par le fichier robots.txt selon GWT Crawl et indexation Google, sitemaps 18 Décembre 2013
Prb avec le fichier robots.txt bloqué alors que tout semble ok Crawl et indexation Google, sitemaps 19 Octobre 2012
Les pages bloqués par le fichier robots.txt Débuter en référencement 7 Juillet 2009
Probleme avec fichier robots.txt fichier bloquer Crawl et indexation Google, sitemaps 4 Septembre 2007
Bloqué par le fichier robots.txt Référencement Google 3 Juillet 2007
Page de Login et fichier Robots.Txt Débuter en référencement 11 Septembre 2022
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
Page de test et fichier Robots.txt Crawl et indexation Google, sitemaps 9 Octobre 2019
Search Console un fichier robots.txt pour chaque protocole Débuter en référencement 15 Août 2019
Search Console Passage de HTTP à HTTPS (Fichiers ROBOTS.TXT et SITEMAP) 0 Crawl et indexation Google, sitemaps 16 Mai 2019
"Indexée malgré le blocage par le fichier robots.txt" Que faire si ce message ? Crawl et indexation Google, sitemaps 12 Février 2019
noindex fr-fr dans fichier robots.txt avec translatepress Référencement international (langues, pays) 18 Décembre 2018
Indexée malgré le blocage par le fichier robots.txt Débuter en référencement 5 Décembre 2018
Où puis-je configurer le fichier robots.txt et le htaccess ? Débuter en référencement 10 Avril 2018