[RESOLU] difference fichier robots et htaccess ?

Discussion dans 'Débuter en référencement' créé par Minimig, 2 Septembre 2008.

  1. Minimig
    Minimig Nouveau WRInaute
    Inscrit:
    2 Septembre 2008
    Messages:
    2
    J'aime reçus:
    0
    Bonjour à tou(te)s,

    Avec le fichier Robots.txt on peut interdire l'indexation d'un dossier (par exemple), mais si on n'écrit pas ce dossier dans le fichier Robots, est-ce que le fait que mettre un fichier htaccess (contenu : deny from all) dans le dossier, suffit à interdire l'indexation par les moteur de recherche ?

    Autre question, c'est quoi la différence entre indexation et crawl ?

    Merci :)
     
  2. carole heinz
    carole heinz WRInaute passionné
    Inscrit:
    28 Février 2007
    Messages:
    2 417
    J'aime reçus:
    0
    bonjour,

    le fichiers robots n'est fait que pour les robots, et que pour les robots qui le respectent càd pas tous.

    interdire l'accès via htaccess est beaucoup + sûr mais pour les robots "civilisés" cela revient au même: l'indexation sera en effet impossible.

    crawl=passage d'un robot sur une page (visible dans les logs par ex.)

    indexation=enregistrement d'une page dans l'index d'un moteur de recherche: la page devient accessible dans les résultats, et dans la plupart des cas, un cache est disponible

    en gros, il peut donc y avoir crawl sans indexation, mais pas l'inverse.
     
  3. Minimig
    Minimig Nouveau WRInaute
    Inscrit:
    2 Septembre 2008
    Messages:
    2
    J'aime reçus:
    0
    Merci Carole pour cette réponse, ça répond parfaitement à mon attente. :D
     
Chargement...
Similar Threads - [RESOLU] difference fichier Forum Date
Différence entre Titre et libelle d'un backlink [Résolu] Référencement Google 8 Mars 2005
Problème images en https (forum phpbb) [résolu] Développement d'un site Web ou d'une appli mobile 18 Novembre 2017
[Résolu] Redirection 301 FR vers EN sur Prestashop uniquement sur outils Google ? Problèmes de référencement spécifiques à vos sites 11 Septembre 2017
[résolu] Passage à HTTPS, comment tester une page ? Développement d'un site Web ou d'une appli mobile 7 Septembre 2017
[Résolu] Redirection d'une famille d'URL URL Rewriting et .htaccess 9 Mars 2017
[Résolu] Diaporama et SEO Débuter en référencement 17 Janvier 2017
[résolu]Redirection monsite.fr/index.html sur monsite.fr et seo URL Rewriting et .htaccess 16 Janvier 2017
[resolu]Publicité facebook lié au compte instagram Facebook 12 Décembre 2016
[résolu] Récupérer des valeurs issues de javascript pour les mettre en base MySQL Développement d'un site Web ou d'une appli mobile 18 Juillet 2016
[résolu] Faire une redirection sauf pour mon adresse IP URL Rewriting et .htaccess 15 Juin 2016
[Résolu] 2 descriptions pour une même url selon requête Crawl et indexation Google, sitemaps 1 Juin 2016
[résolu] Action onchange sur FORM/SELECT qui ne fonctionne qu'à la première action ?!? Développement d'un site Web ou d'une appli mobile 31 Mai 2016
[résolu] Sessions : lire le contenu alors qu'on ne sait pas comment il est nommé... Développement d'un site Web ou d'une appli mobile 25 Mai 2016
[résolu] Avoir un paramètre de session "dynamique" ? Développement d'un site Web ou d'une appli mobile 25 Mai 2016
[résolu] Hauteur de div selon état d'un bouton radio Développement d'un site Web ou d'une appli mobile 23 Mai 2016
[résolu] recupération de flux xml et erreur encodage des caractères Développement d'un site Web ou d'une appli mobile 27 Janvier 2016
[résolu] Carte Google Maps avec "zones de densité" Développement d'un site Web ou d'une appli mobile 5 Novembre 2015
Balise NoIndex ignorée par Google? [résolu] Débuter en référencement 13 Janvier 2015
[Résolu] sites référents sans lien vers mon site Demandes d'avis et de conseils sur vos sites 7 Janvier 2015
Lorsqu'on a créé un site, faut-il mettre un lien vers son site dans le footer ? [Résolu] Débuter en référencement 31 Décembre 2014