[RESOLU] difference fichier robots et htaccess ?

[Minimig]

Bonjour à tou(te)s,

Avec le fichier Robots.txt on peut interdire l'indexation d'un dossier (par exemple), mais si on n'écrit pas ce dossier dans le fichier Robots, est-ce que le fait que mettre un fichier htaccess (contenu : deny from all) dans le dossier, suffit à interdire l'indexation par les moteur de recherche ?

Autre question, c'est quoi la différence entre indexation et crawl ?

Merci

 

[carole heinz]

bonjour,

le fichiers robots n'est fait que pour les robots, et que pour les robots qui le respectent càd pas tous.

interdire l'accès via htaccess est beaucoup + sûr mais pour les robots "civilisés" cela revient au même: l'indexation sera en effet impossible.

crawl=passage d'un robot sur une page (visible dans les logs par ex.)

indexation=enregistrement d'une page dans l'index d'un moteur de recherche: la page devient accessible dans les résultats, et dans la plupart des cas, un cache est disponible

en gros, il peut donc y avoir crawl sans indexation, mais pas l'inverse.

 

[Minimig]

Merci Carole pour cette réponse, ça répond parfaitement à mon attente.