[RESOLU] difference fichier robots et htaccess ?

Minimig · 2 Septembre 2008

Bonjour à tou(te)s,

Avec le fichier Robots.txt on peut interdire l'indexation d'un dossier (par exemple), mais si on n'écrit pas ce dossier dans le fichier Robots, est-ce que le fait que mettre un fichier htaccess (contenu : deny from all) dans le dossier, suffit à interdire l'indexation par les moteur de recherche ?

Autre question, c'est quoi la différence entre indexation et crawl ?

Merci

carole heinz · 2 Septembre 2008

bonjour,

le fichiers robots n'est fait que pour les robots, et que pour les robots qui le respectent càd pas tous.

interdire l'accès via htaccess est beaucoup + sûr mais pour les robots "civilisés" cela revient au même: l'indexation sera en effet impossible.

crawl=passage d'un robot sur une page (visible dans les logs par ex.)

indexation=enregistrement d'une page dans l'index d'un moteur de recherche: la page devient accessible dans les résultats, et dans la plupart des cas, un cache est disponible

en gros, il peut donc y avoir crawl sans indexation, mais pas l'inverse.

Minimig · 2 Septembre 2008

Merci Carole pour cette réponse, ça répond parfaitement à mon attente.

Similar Threads - [RESOLU] difference fichier	Forum	Date
Différence entre Titre et libelle d'un backlink [Résolu]	Référencement Google	8 Mars 2005
Problème images en https (forum phpbb) [résolu]	Développement d'un site Web ou d'une appli mobile	18 Novembre 2017
[Résolu] Redirection 301 FR vers EN sur Prestashop uniquement sur outils Google ?	Problèmes de référencement spécifiques à vos sites	11 Septembre 2017
[résolu] Passage à HTTPS, comment tester une page ?	Développement d'un site Web ou d'une appli mobile	7 Septembre 2017
[Résolu] Redirection d'une famille d'URL	URL Rewriting et .htaccess	9 Mars 2017
[Résolu] Diaporama et SEO	Débuter en référencement	17 Janvier 2017
[résolu]Redirection monsite.fr/index.html sur monsite.fr et seo	URL Rewriting et .htaccess	16 Janvier 2017
[resolu]Publicité facebook lié au compte instagram	Facebook	12 Décembre 2016
[résolu] Récupérer des valeurs issues de javascript pour les mettre en base MySQL	Développement d'un site Web ou d'une appli mobile	18 Juillet 2016
[résolu] Faire une redirection sauf pour mon adresse IP	URL Rewriting et .htaccess	15 Juin 2016
[Résolu] 2 descriptions pour une même url selon requête	Crawl et indexation Google, sitemaps	1 Juin 2016
[résolu] Action onchange sur FORM/SELECT qui ne fonctionne qu'à la première action ?!?	Développement d'un site Web ou d'une appli mobile	31 Mai 2016
[résolu] Sessions : lire le contenu alors qu'on ne sait pas comment il est nommé...	Développement d'un site Web ou d'une appli mobile	25 Mai 2016
[résolu] Avoir un paramètre de session "dynamique" ?	Développement d'un site Web ou d'une appli mobile	25 Mai 2016
[résolu] Hauteur de div selon état d'un bouton radio	Développement d'un site Web ou d'une appli mobile	23 Mai 2016
[résolu] recupération de flux xml et erreur encodage des caractères	Développement d'un site Web ou d'une appli mobile	27 Janvier 2016
[résolu] Carte Google Maps avec "zones de densité"	Développement d'un site Web ou d'une appli mobile	5 Novembre 2015
Balise NoIndex ignorée par Google? [résolu]	Débuter en référencement	13 Janvier 2015
[Résolu] sites référents sans lien vers mon site	Demandes d'avis et de conseils sur vos sites	7 Janvier 2015
Lorsqu'on a créé un site, faut-il mettre un lien vers son site dans le footer ? [Résolu]	Débuter en référencement	31 Décembre 2014