Robots.txt tout disallow sauf page accueil ?

WRInaute impliqué
Bonjour,
J'ai pas trouvé la solution ici et ailleurs alors je la pose :
J'aimerais réussir à bloquer googlebot de partout sur mon site SAUF 1 dossier (que j'appellerai "google") et ma page d'accueil

Donc j'ai ça :
Code:
User-Agent: *
Allow: /google/
Disallow: /

Comment rajouter d'autoriser ma page d'accueil (qui est juste http://www.example.com/) sans rentrer en conflit avec "Disallow: /"

Merci d'avance pour vos lumières,
Screu
 
WRInaute impliqué
Vraiment personne ?

J'ai une idée, dites moi ce que vous en pensez :

Je change tous mes liens qui pointent sur www.example.com sur www.example.com/index
et j'autorise le /index dans le robots.txt

Vous en pensez quoi ?
Mon problème est que tous mes liens externes qui pointaient sur www.example.com sont "faux", y a t'il moyen de rediriger dans le htacces vers /index uniquement la racine ? (je suis pas très competant en htaccess)

Merci,
Screu
 
WRInaute accro
Tu veux obligatoirement gérer ça par robots.txt ?
Ce n'est pas plus simple pour toi de conditionner ça dans ton script et d'envoyer un <meta name="robots" content="noindex, norachive" /> ?
 
WRInaute impliqué
HawkEye a dit:
Tu veux obligatoirement gérer ça par robots.txt ?
Ce n'est pas plus simple pour toi de conditionner ça dans ton script et d'envoyer un <meta name="robots" content="noindex, norachive" /> ?
Merci pour ta réponse,

Non, j'aimerais vraiment de faire ça dans le robots.txt

Si c'est pas possible ... tant pis !
 
WRInaute accro
screuscreu a dit:
J'aimerais réussir à bloquer googlebot de partout sur mon site SAUF 1 dossier (que j'appellerai "google") et ma page d'accueil
Il vaut mieux ne jamais utiliser "Allow" qui n'est pas standard. La solution conforme au standard, c'est:
Code:
User-Agent: *
Disallow: /repertoire1/
Disallow: /repertoire2/
Disallow: /repertoire3/
Disallow: /repertoire4/
Disallow: /fichier1
Disallow: /fichier2
Disallow: /fichier3
où repertoire1, repertoire2,..., fichier1, fichier2,... sont les répertoires et fichiers interdits d'accès. En gros, ça veut dire qu'il y aura une ligne par répertoire ou fichier interdit.

Jean-Luc
 
WRInaute impliqué
Merci pour vos réponses.
J'utilise actuellement la méthode de jeanluc mais j'avais pour but de réduire la taille de ce fichier ... mais apparemment je ne pourrais pas comme cela ;)
 
Discussions similaires
Haut