robot.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par pyranhaz, 4 Décembre 2003.

  1. pyranhaz
    pyranhaz Nouveau WRInaute
    Inscrit:
    10 Juillet 2003
    Messages:
    37
    J'aime reçus:
    0
    questions pertinentes sur la fonction de robots.txt

    un hébergement qui donne un espace d'hébergement dans un répertoire "html" donc à un niveau différent de cgi-bin pour question de sécurité...

    est-ce que je dois inscrire
    Disallow: /répertoire pour désactiver un répertoire se trouvant au même niveau que "html" ???

    pour désactiver un fichier je dois inscrire
    Disallow: /fichier1.php

    ou je suis dans le champs ???

    C'est que pour contrer l'aspiration de site j'ai mis un piège et google tombe dedans même si j'ai désactivé le fichier piège dans le robots.txt

    alors ca voudrait dire que google ne voit pas la désactivation de ce fichier si il tombe dedans...

    merci de vos lumières
     
  2. Kmacleod
    Kmacleod WRInaute passionné
    Inscrit:
    28 Novembre 2002
    Messages:
    2 468
    J'aime reçus:
    0
    robots.txt

    User-agent: *
    Disallow: fichier1.php


    celà devrait bien fonctionner sinon il y a un problème d'acces au fichier robots.txt
     
  3. Remi L.
    Remi L. WRInaute impliqué
    Inscrit:
    6 Septembre 2003
    Messages:
    909
    J'aime reçus:
    0
    Peu importe l'emplacement physique, c'est l'emplacement logique qui importe et qu'il faut mettre dans robots.txt.
    Par ex. si ton cgi-bin est situé en dehors de ta zone html, tu y accèdes logiquement par /cgi-bin/... et donc tu dois mettre Disallow: /cgi-bin/
     
Chargement...
Similar Threads - robot Forum Date
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps Jeudi à 14:45
Search Console Site FR en attente de Multilangue + syntaxe Robot.txt Référencement international (langues, pays) 5 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
Problèmes d'indexation et robots.txt Crawl et indexation Google, sitemaps 14 Octobre 2019
Réécriture et robots.txt Débuter en référencement 10 Octobre 2019
Page de test et fichier Robots.txt Crawl et indexation Google, sitemaps 9 Octobre 2019
Robots.txt et test url Crawl et indexation Google, sitemaps 9 Octobre 2019
Page d'accueil non indexée ? Conflit avec robots.txt Crawl et indexation Google, sitemaps 2 Octobre 2019
robots.txt pour site multilangue Crawl et indexation Google, sitemaps 1 Octobre 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice