Interaction robots.txt , réecriture d'url

Discussion dans 'Crawl et indexation Google, sitemaps' créé par pio, 18 Février 2012.

  1. pio
    pio Nouveau WRInaute
    Inscrit:
    23 Avril 2010
    Messages:
    4
    J'aime reçus:
    0
    Bonjour à tous.

    Je suis autodidacte donc à la rue ;)
    Apres maintes recherches il y a toujours un point qui m'échappe au niveau du robots.txt
    J'aimerais faire interdire l'indexation de tous les scripts de mon site qui sont réunis dans un dossier. Ceci dans le but paranoîaque de ne pas dévoiler l'arborescence du site dans le robots.txt

    Genre
    USER:*
    Disalow: /repertoire-principale/

    et donc de permettre que l'indexation du fichier index, qui est à la racine, au même niveau que le répertoire principal qui contient les scripts, les templates, les styles, les images, l'admin... tout quoi.

    Seulement, il y a des pages qui sont à l’intérieur de ce répertoire principal qui doivent être indexée mais dont les url sont réécrites

    Genre
    RewriteRules ^ma-page-a-indexee-réecrite-$ repertoire-principal/sous-dossier/script.php?var=$1&... [L]

    Donc ma question:
    est ce que l'url réécrite de la page sera quand même indexée si j'interdis du coté du robots.txt l'indexation du script ?

    Je pense que c'est une question de débutant mais je bute

    Merci
     
  2. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 882
    J'aime reçus:
    0
    Bonjour,

    En bref, robots.txt ne se préoccupe pas des fichiers. Pour lui, seules comptent les URL.

    Fais gaffe à la syntaxe exacte sinon tu auras des mauvaises surprises dans robots.txt :
    Code:
    USER:*
    Disalow: /repertoire-principal/
    n'aura aucun effet.

    Par contre :
    Code:
    User-agent: *
     Disallow: /repertoire-principal/
    interdira toutes les URL commençant par http://www.ton_site.com/repertoire-principal/ (donc http://www.ton_site.com/repertoire-principal/bidouille.php sera aussi interdit).

    J'espère que cela clarifie les choses.

    Jean-Luc
     
  3. pio
    pio Nouveau WRInaute
    Inscrit:
    23 Avril 2010
    Messages:
    4
    J'aime reçus:
    0
    Ok c'est ce que je voulais savoir.

    Merci pour la rectification du code mais je l'ai tapé à la va vite :oops:

    Est ce que c'est une pratique courante de faire ce que j'ai cité plus haut, ou c'est plutôt déconseillé ?
    (mal vu par les moteurs genre google, ou autre chose qui m'échappe )

    Est ce qu'il y en a qui réécrive l’accès au robots.txt ?
    Genre:
    Code:
    RewriteRules ^robots.txt$  robots.php [L]
    
    pour y faire un filtrage par exemple.
     
Chargement...
Similar Threads - Interaction robots réecriture Forum Date
3000 likes 10 interactions Facebook 16 Mai 2020
Intérêt et interaction du visiteur Google Analytics 7 Mars 2012
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 17 Octobre 2020
lien variable à bloquer sur robots Développement d'un site Web ou d'une appli mobile 3 Mai 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
Robots.txt du site Kayak Débuter en référencement 11 Mars 2020
Search Console Indexée malgré le blocage dans robots.txt Crawl et indexation Google, sitemaps 26 Février 2020
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019