Disallow * sauf pour GoogleBot

Discussion dans 'URL Rewriting et .htaccess' créé par mtth, 9 Octobre 2014.

  1. mtth
    mtth WRInaute discret
    Inscrit:
    22 Août 2014
    Messages:
    60
    J'aime reçus:
    0
    Bonjour,

    J'aimerai protéger des fichier avec un document.htaccess pour que les internautes n'arrivent pas a tous les télécharger.
    J'utilise pour le moment un Disallow * ... Mais par contre j'aimerai que Google aie accès a ces document pour référencer son contenu... Mais comment faire??

    Merci beaucoup

    Mtth
     
  2. baud74
    baud74 WRInaute impliqué
    Inscrit:
    21 Juillet 2014
    Messages:
    580
    J'aime reçus:
    0
    quelque chose du style :
    RewriteCond %{REQUEST_URI} ^/.*\.pdf$
    RewriteCond %{HTTP_USER_AGENT} !Googlebot [NC]
    RewriteRule (.*) monfichier.php [L]
     
  3. mtth
    mtth WRInaute discret
    Inscrit:
    22 Août 2014
    Messages:
    60
    J'aime reçus:
    0
    Oooh merci beaucoup [SMILING FACE WITH SMILING EYES] donc si je comprends bien pour toutes les url terminant par .pdf et dont le useragent n'est pas googlebot on la redirige vers mon fichier.php ? Okido et si par exemple le fichier se trouve dans uploads/nom-du-fichier.doxc peut-on le rediriger alors vers /résumés/apercu/nom-du-resume ??

    Merci énormément car cela va vraiment bien améliorer mon référencement (enfin j'espère) :)

    Mtth
     
Chargement...
Similar Threads - Disallow GoogleBot Forum Date
dans un site python (Django) ce qu'on doit mettre dans le disallow Débuter en référencement 8 Novembre 2021
Juste un Disallow Crawl et indexation Google, sitemaps 14 Juillet 2021
Juste un Disallow Crawl et indexation Google, sitemaps 1 Juin 2021
Lien obfusqué avec le fichier JS en Disallow Débuter en référencement 29 Mai 2021
Search Console - Disallow /Feed/ Crawl et indexation Google, sitemaps 7 Juin 2020
J'ai tout Disallow pendant 10 jours! Référencement Google 29 Janvier 2020
Pagination : Disallow, No index, Canoniser - Qu'est-ce qu'on fait ? Référencement Google 15 Octobre 2019
Sites de test indexés malgré Disallow dans robots.txt Crawl et indexation Google, sitemaps 7 Juin 2019
est-il préférable de disallow des pages non indexées Crawl et indexation Google, sitemaps 29 Janvier 2019
Disallow à la place de noindex (optimisation du PageRank interne) Crawl et indexation Google, sitemaps 10 Août 2018
robots.txt avec Disallow:/*.php Débuter en référencement 23 Juin 2018
Problème et couverture de l'index et de Disallow Problèmes de référencement spécifiques à vos sites 2 Mai 2018
Cocon sémantique, nofollow et disallow au troisième niveau Référencement Google 9 Novembre 2017
Robots.txt et syntaxe de Disallow Crawl et indexation Google, sitemaps 2 Juin 2017
Comment interdire le crawl des pages de faibles valeurs (Noindex ; Nofollow ; Disallow ?) Débuter en référencement 22 Mars 2017
Sitemaps images et disallow repertoire Crawl et indexation Google, sitemaps 20 Mars 2017
Page "nos partenaires" en disallow Débuter en référencement 14 Décembre 2015
Balise Noindex ou Disallow dans robots.txt Référencement Google 15 Septembre 2015
Disallow et noindex pour des pages filtres Débuter en référencement 11 Juin 2015
Aide pour un disallow de serie d'url Débuter en référencement 30 Avril 2015