robot.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par pyranhaz, 4 Décembre 2003.

  1. pyranhaz
    pyranhaz Nouveau WRInaute
    Inscrit:
    10 Juillet 2003
    Messages:
    37
    J'aime reçus:
    0
    questions pertinentes sur la fonction de robots.txt

    un hébergement qui donne un espace d'hébergement dans un répertoire "html" donc à un niveau différent de cgi-bin pour question de sécurité...

    est-ce que je dois inscrire
    Disallow: /répertoire pour désactiver un répertoire se trouvant au même niveau que "html" ???

    pour désactiver un fichier je dois inscrire
    Disallow: /fichier1.php

    ou je suis dans le champs ???

    C'est que pour contrer l'aspiration de site j'ai mis un piège et google tombe dedans même si j'ai désactivé le fichier piège dans le robots.txt

    alors ca voudrait dire que google ne voit pas la désactivation de ce fichier si il tombe dedans...

    merci de vos lumières
     
  2. Kmacleod
    Kmacleod WRInaute passionné
    Inscrit:
    28 Novembre 2002
    Messages:
    2 467
    J'aime reçus:
    0
    robots.txt

    User-agent: *
    Disallow: fichier1.php


    celà devrait bien fonctionner sinon il y a un problème d'acces au fichier robots.txt
     
  3. Remi L.
    Remi L. WRInaute impliqué
    Inscrit:
    6 Septembre 2003
    Messages:
    909
    J'aime reçus:
    0
    Peu importe l'emplacement physique, c'est l'emplacement logique qui importe et qu'il faut mettre dans robots.txt.
    Par ex. si ton cgi-bin est situé en dehors de ta zone html, tu y accèdes logiquement par /cgi-bin/... et donc tu dois mettre Disallow: /cgi-bin/
     
Chargement...
Similar Threads - robot Forum Date
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 14 Juillet 2021
Les mots-clés de mon site ne sont pas détectés par les robots de référencement Problèmes de référencement spécifiques à vos sites 7 Juillet 2021
Wordpress et le robots.txt Débuter en référencement 21 Juin 2021
Search Console noindex détecté dans la balise Meta robots Débuter en référencement 21 Mai 2021
Urls filtrées indexées et crawl robots.txt Crawl et indexation Google, sitemaps 19 Mai 2021
Backlinks de sites robot Netlinking, backlinks, liens et redirections 24 Mars 2021
Robots : n'autoriser que les 4 ou 5 moteurs de recherche principaux Crawl et indexation Google, sitemaps 15 Janvier 2021
erreurs robots.txt Crawl et indexation Google, sitemaps 23 Décembre 2020
Robot et loading="lazy" Débuter en référencement 10 Décembre 2020
blocage robot deny from all Crawl et indexation Google, sitemaps 1 Décembre 2020