Robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Lentreprenaute, 9 Décembre 2004.

Tags:
  1. Lentreprenaute
    Lentreprenaute WRInaute impliqué
    Inscrit:
    18 Octobre 2003
    Messages:
    713
    J'aime reçus:
    0
    Bonjour,

    j'ai mis sur un site ce fichier robots à la racine du site qui est le doublon d'un autre qui est pour le mement en sanbox que subit mon site " le doublon a ete crée depuis peu bien apres le nouvel effet magique appelé sandbox pour coupé court a l'hypothese" .

    Vu cette petite phrase pouvez vous me confirmer que gg fait partie de ceux qui respectent les fichiers txt?? pur formalité allez merci a celui qui me rassure vite fait bien fait.


    lu sur wri :
    Pour interdire l'indexation de tout votre site à tous les robots (ceux qui respectent le standard d'exclusion des robots), mettez ceci dans votre fichier robots.txt :
    User-agent: *
    Disallow: /
     
    #1 Lentreprenaute, 9 Décembre 2004
  2. dh
    dh WRInaute occasionnel
    Inscrit:
    1 Septembre 2003
    Messages:
    352
    J'aime reçus:
    0
    slt

    Je te confirme que GG respecte cela puisque un fils de ..... de referenceur vereux a apposé ce fichier sur un contrat que je lui avait repris et ce fichierr a eté tres tres efficace.
    A voir le resume dans le cafe


    dh
     
    #2 dh, 9 Décembre 2004
  3. pippo
    pippo Nouveau WRInaute
    Inscrit:
    16 Octobre 2004
    Messages:
    36
    J'aime reçus:
    0
    #3 pippo, 10 Décembre 2004
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Robots Forum Date
Robots : n'autoriser que les 4 ou 5 moteurs de recherche principaux Crawl et indexation Google, sitemaps 15 Janvier 2021
erreurs robots.txt Crawl et indexation Google, sitemaps 23 Décembre 2020
Google me dit que ma page est bien indexée mais bloquée par robots.txt Crawl et indexation Google, sitemaps 25 Novembre 2020
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 17 Octobre 2020
lien variable à bloquer sur robots Développement d'un site Web ou d'une appli mobile 3 Mai 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
Robots.txt du site Kayak Débuter en référencement 11 Mars 2020
Search Console Indexée malgré le blocage dans robots.txt Crawl et indexation Google, sitemaps 26 Février 2020
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019