Cas particulier robots.txt

[android]

Bonjour,
vous allez surement me dire que le sujet a été traité mais je n'ai pas trouvé :?

J'ai un répertoire /rep1/ que je veux interdire aux moteurs mais autoriser l'indexation de /rep1/rep1.1/rep1.1.1/

Si j'écris dans mon robots.txt, est-ce valide ?

Disallow: /rep1/
Allow: /rep1/rep1.1/rep1.1.1/


Merci pour les retours.

 

[Koxin-L.fr]

Moi, je ferait le blocage via htaccess.
C'est plus sain, car si le bot ne respect pas le robots.txt, tu l'a dans l'os.

 

[android]

le truc c'est que je ne peux pas faire de htaccess.
A votre avis, n'y a-t-il pas de contradiction entre disallow d'un côté et allow de l'autre ?

 

[Koxin-L.fr]

J'aurais mis dans l'ordre inverse.

User-agent: *
Allow: /rep1/rep1.1/
Allow: /rep1/rep1.1/rep1.1.1/
Disallow: /rep1/

Tu peux aussi ajouter la meta robot noindex à tous les fichiers présent dans /rep1/

 

[spout]

"Allow" n'existe pas en robots.txt : http://www.robotstxt.org/robotstxt.html

 

[android]

Pour info, je viens de trouver cela. Intéressant.

 

[android]

Avec le lien c mieux ;-)
http://robots-txt.com/ressources/robots-txt-allow/

 

[Koxin-L.fr]

"Allow" n'existe pas en robots.txt : http://www.robotstxt.org/robotstxt.html

Cette directive n'est pas officielle, mais GG, bing et plein d'autre la supporte. ;-) Pourquoi s'en priver.

 

[spout]

Ah ben on en apprend tous les jours, merci Rod.

 

[Koxin-L.fr]

Maintenant, c'est aussi prendre le risque que tout parte en couille le jour où ils décideront de ne plus en tenir compte : -)