Sitemap, robots.txt et url rewriting

Discussion dans 'Débuter en référencement' créé par alexdezark, 2 Novembre 2009.

  1. alexdezark
    alexdezark WRInaute discret
    Inscrit:
    21 Février 2009
    Messages:
    69
    J'aime reçus:
    0
    Bonjour à tous,

    J'utilise une redirection dans un htaccess pour masquer à l'utilisateur un nom de répertoire dans la barre d'adresse du navigateur.

    Au lieu d'afficher : http://www.monsite.com/site/genre1/page.php
    j'affiche : http://www.monsite.com/genre1/page.php

    Dans mon htaccess j'ai :

    Code:
    RewriteEngine On
    RewriteCond %{REQUEST_URI} !^/(site|js|medias|css|images)/
    RewriteRule ^(.*)$ /site/$1 [L]
    
    Je voudrais savoir comment doit être rédigé mon sitemap pour que les moteurs de recherche trouvent les pages indiquées.

    Les moteurs de recherche appliquent-ils les règles énoncées dans le htaccess ?

    Et dans mon fichier robots.txt si je veux empêcher l'exploration du repertoire '/js', est-ce que la ligne
    Code:
    Disallow: /js/
    sera bien la ligne à écrire ?

    Merci d'avance pour vos réponses.
     
  2. forty
    forty WRInaute passionné
    Inscrit:
    30 Octobre 2008
    Messages:
    1 930
    J'aime reçus:
    0
    "Disallow: /js/" ne sert que pour les robots qui lisent le fichier robots.txt : c'est pas valable pour les utilisateurs ou les aspirateurs, spammeurs, ...

    sinon les règles htaccess s'appliquent à tous (sauf condition particulière).

    Pour éviter de voir le contenu d'un répertoire, tu peux utiliser l'une des méthodes suivante :
    - mettre un fichier index.php vide dans le répertoire (ou avec seulement une redirection vers la racine)
    - utiliser la directive apache dans le htaccess :
    Code:
    Options -Indexes
     
  3. alexdezark
    alexdezark WRInaute discret
    Inscrit:
    21 Février 2009
    Messages:
    69
    J'aime reçus:
    0
    Bonjour Forty,

    Merci de ta réponse.

    Je crois savoir que Options -Indexes empêche de lister le contenu de tous les répertoires, est-ce cela ?

    Donc si je met ça dans mon htaccess à la racine du site cela va-t-il aussi empêcher les moteurs de recherche de référencer le contenu de mon répertoire '/site' qui est celui que je veux que les moteurs explorent ?

    faut-il placer cette ligne dans un htaccess dans chaque répertoire dont on veut interdire l'exploration ?

    Je ne comprend pas bien non plus pourquoi le fait de placer un index.php vide dans un répertoire va empêcher son exploration ?

    Merci d'avance pour ces éclaircissements
     
  4. forty
    forty WRInaute passionné
    Inscrit:
    30 Octobre 2008
    Messages:
    1 930
    J'aime reçus:
    0
    Options -Indexes permet d'empêcher de voir le contenu d'un répertoire quand il n'y a pas de fichier index (évite d'afficher la liste des fichiers du répertoire). Ca n'empêche pas d'accéder directement à l'un des fichiers du répertoire.

    Si l'option Indexes n'est pas supprimée, apache affiche le contenu du fichier index.php ou index.html s'il existe. C'est donc une bonne solution pour contrôler l'affichage que tu va avoir en appelant -http://www.tonsite/js/

    Sinon si tu veux empêcher de voir le contenu des fichiers .js : c'est quasiment impossible s'ils sont utilisés sur ton site.
     
Chargement...
Similar Threads - Sitemap robots rewriting Forum Date
Search Console Passage de HTTP à HTTPS (Fichiers ROBOTS.TXT et SITEMAP) 0 Crawl et indexation Google, sitemaps 16 Mai 2019
Question sur sitemap et robots.txt Crawl et indexation Google, sitemaps 8 Avril 2019
déclaration sitemap dans le robots.txt Crawl et indexation Google, sitemaps 23 Août 2018
Sitemap non detecté dans le robots.txt Débuter en référencement 26 Février 2015
Le sitemap contient des URL bloquées par le robots.txt Crawl et indexation Google, sitemaps 14 Août 2014
Problème Robots.txt et sitemap Débuter en référencement 13 Juillet 2014
[PB Indexation] Robots.txt et sitemap.xml Crawl et indexation Google, sitemaps 5 Février 2014
Bug Google robots.txt sitemaps Crawl et indexation Google, sitemaps 23 Janvier 2014
A propos du robots.txt et sitemap Crawl et indexation Google, sitemaps 29 Mars 2013
Sitemap.xml restreint par un fichier robots.txt Crawl et indexation Google, sitemaps 31 Mai 2012
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice