Robots.txt tout disallow sauf page accueil ?

Discussion dans 'Problèmes de référencement spécifiques à vos sites' créé par screuscreu, 1 Février 2009.

  1. screuscreu
    screuscreu WRInaute impliqué
    Inscrit:
    14 Janvier 2008
    Messages:
    687
    J'aime reçus:
    0
    Bonjour,
    J'ai pas trouvé la solution ici et ailleurs alors je la pose :
    J'aimerais réussir à bloquer googlebot de partout sur mon site SAUF 1 dossier (que j'appellerai "google") et ma page d'accueil

    Donc j'ai ça :
    Code:
    User-Agent: *
    Allow: /google/
    Disallow: /
    
    Comment rajouter d'autoriser ma page d'accueil (qui est juste http://www.example.com/) sans rentrer en conflit avec "Disallow: /"

    Merci d'avance pour vos lumières,
    Screu
     
  2. screuscreu
    screuscreu WRInaute impliqué
    Inscrit:
    14 Janvier 2008
    Messages:
    687
    J'aime reçus:
    0
    Vraiment personne ?

    J'ai une idée, dites moi ce que vous en pensez :

    Je change tous mes liens qui pointent sur www.example.com sur www.example.com/index
    et j'autorise le /index dans le robots.txt

    Vous en pensez quoi ?
    Mon problème est que tous mes liens externes qui pointaient sur www.example.com sont "faux", y a t'il moyen de rediriger dans le htacces vers /index uniquement la racine ? (je suis pas très competant en htaccess)

    Merci,
    Screu
     
  3. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    13 857
    J'aime reçus:
    5
    Tu veux obligatoirement gérer ça par robots.txt ?
    Ce n'est pas plus simple pour toi de conditionner ça dans ton script et d'envoyer un <meta name="robots" content="noindex, norachive" /> ?
     
  4. screuscreu
    screuscreu WRInaute impliqué
    Inscrit:
    14 Janvier 2008
    Messages:
    687
    J'aime reçus:
    0
    Merci pour ta réponse,

    Non, j'aimerais vraiment de faire ça dans le robots.txt

    Si c'est pas possible ... tant pis !
     
  5. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Il vaut mieux ne jamais utiliser "Allow" qui n'est pas standard. La solution conforme au standard, c'est:
    Code:
    User-Agent: *
    Disallow: /repertoire1/
    Disallow: /repertoire2/
    Disallow: /repertoire3/
    Disallow: /repertoire4/
    Disallow: /fichier1
    Disallow: /fichier2
    Disallow: /fichier3
    où repertoire1, repertoire2,..., fichier1, fichier2,... sont les répertoires et fichiers interdits d'accès. En gros, ça veut dire qu'il y aura une ligne par répertoire ou fichier interdit.

    Jean-Luc
     
  6. screuscreu
    screuscreu WRInaute impliqué
    Inscrit:
    14 Janvier 2008
    Messages:
    687
    J'aime reçus:
    0
    Merci pour vos réponses.
    J'utilise actuellement la méthode de jeanluc mais j'avais pour but de réduire la taille de ce fichier ... mais apparemment je ne pourrais pas comme cela ;)
     
Chargement...
Similar Threads - Robots disallow Forum Date
Sites de test indexés malgré Disallow dans robots.txt Crawl et indexation Google, sitemaps 7 Juin 2019
robots.txt avec Disallow:/*.php Débuter en référencement 23 Juin 2018
Robots.txt et syntaxe de Disallow Crawl et indexation Google, sitemaps 2 Juin 2017
Balise Noindex ou Disallow dans robots.txt Référencement Google 15 Septembre 2015
Robots.txt + sous domaine disallow Débuter en référencement 11 Août 2014
Page de liens spécifiées disallow dans le robots.txt Netlinking, backlinks, liens et redirections 18 Mars 2014
Robots.txt ok à 100% mais lu comme disallow dans GWT et Bing ? Crawl et indexation Google, sitemaps 16 Décembre 2013
Disallow robots.txt et pages sattellites Crawl et indexation Google, sitemaps 19 Juillet 2012
Disallow fichiers robots de facebook Débuter en référencement 16 Juillet 2012
Robots.txt : Disallow des pages sport-xxxx.html sans Disallow de sport-equestre.html Administration d'un site Web 8 Décembre 2010
Robots.txt Disallow:repertoire mais pas une URL Crawl et indexation Google, sitemaps 30 Octobre 2010
Disallow tag dans robots.txt Crawl et indexation Google, sitemaps 26 Octobre 2010
Disallow robots.txt Débuter en référencement 4 Février 2010
Cacher un dossier par Disallow et robots.txt Débuter en référencement 27 Août 2008
Robots.txt - Disallow pour des pages avec paramètre Google : l'entreprise, les sites web, les services 20 Octobre 2006
Robots : Allow et Disallow ? Crawl et indexation Google, sitemaps 20 Avril 2006
Robots.txt pour phpbb : Disallow de certaines urls Problèmes de référencement spécifiques à vos sites 30 Août 2004
Pourquoi ne pas utiliser le robots.txt pour interdire l'indexation ? Débuter en référencement 14 Avril 2022
canonical et robots=index sur une même page Débuter en référencement 7 Décembre 2021
le noindex dans le robots.txt Débuter en référencement 19 Novembre 2021