Robots.txt qui fait des erreurs apache

Discussion dans 'Débuter en référencement' créé par cbroissa, 7 Septembre 2006.

  1. cbroissa
    cbroissa Nouveau WRInaute
    Inscrit:
    29 Avril 2005
    Messages:
    40
    J'aime reçus:
    0
    Salut,

    J'ai plein d'erreur dans le log apache, de moteur de recherche (je suppose) qui essaye d'accéder à robots.txt, mais il n'existe pas car j'utilise directement la balise meta.

    Comment faire pour éviter ces erreurs ? il faut créer un robots.txt vide ?

    Merci
     
  2. sonikbuzz
    sonikbuzz WRInaute occasionnel
    Inscrit:
    21 Février 2005
    Messages:
    398
    J'aime reçus:
    0
    Tu peux désactiver ce type d'erreur avec apache (je crois).
    Autrement robots.txt de ce style fera l'affaire.

    Code:
    # Welcome googlebot visitor (message facultatif  :lol: )
    
    User-agent: *
    Disallow:
    [/quote]
     
  3. sgaze
    sgaze WRInaute occasionnel
    Inscrit:
    2 Février 2004
    Messages:
    452
    J'aime reçus:
    0
    Sauf qu'avec le robots.txt proposé par sonikbuzz, tu vas indiquer à tous les robots que le site ne doit pas être indexé !! A mon avis c'est pas ce que tu recherches.
     
  4. sonikbuzz
    sonikbuzz WRInaute occasionnel
    Inscrit:
    21 Février 2005
    Messages:
    398
    J'aime reçus:
    0
    Non non non, le robots.txt de sonikbuzz autorise tous les bots a tous les repertoires . si je devais interdire tous les repertoires j'ecrirais :

    Code:
    User-agent: *
    Disallow:/
    -http://www.yooda.com/outils_referencement/robots_txt.php?SITE=www.noogle.fr&valid=Ok
     
  5. sgaze
    sgaze WRInaute occasionnel
    Inscrit:
    2 Février 2004
    Messages:
    452
    J'aime reçus:
    0
    Tu as raison sonikbuzz, sorry...
     
  6. cbroissa
    cbroissa Nouveau WRInaute
    Inscrit:
    29 Avril 2005
    Messages:
    40
    J'aime reçus:
    0
    merci mais comment les moteurs vont réagir quand ils verront un robots.txt et une balise meta, ils vont choisir lequel, la somme des 2, l'un ou l'autre ?

    mon site est dynamique et je choisis donc page par page ce que le moteur pourra faire (index, noindex, follow, nofollow),
    et là avec un robots.txt j'ai pas envie de leur dire qu'ils peuvent tout faire.

    Merci
     
Chargement...
Similar Threads - Robots erreurs apache Forum Date
erreurs robots.txt Crawl et indexation Google, sitemaps 23 Décembre 2020
27 erreurs à éviter sur la meta robots noindex et les URL canoniques Crawl et indexation Google, sitemaps 9 Mai 2016
GWT - erreurs d'exploration qui explosent - robots.txt Débuter en référencement 12 Juin 2013
Fichier robots.txt : erreurs d'analyse dans GWT Crawl et indexation Google, sitemaps 19 Janvier 2012
Erreurs Fichier Robots.txt Crawl et indexation Google, sitemaps 26 Octobre 2010
/%5C et /\\ dans les log des erreurs 404 des robots Problèmes de référencement spécifiques à vos sites 14 Septembre 2003
Pourquoi ne pas utiliser le robots.txt pour interdire l'indexation ? Débuter en référencement 14 Avril 2022
canonical et robots=index sur une même page Débuter en référencement 7 Décembre 2021
le noindex dans le robots.txt Débuter en référencement 19 Novembre 2021
suppression des pages bloquées par robots.txt Débuter en référencement 18 Octobre 2021
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 14 Juillet 2021
Les mots-clés de mon site ne sont pas détectés par les robots de référencement Problèmes de référencement spécifiques à vos sites 7 Juillet 2021
Wordpress et le robots.txt Débuter en référencement 21 Juin 2021
Search Console noindex détecté dans la balise Meta robots Débuter en référencement 21 Mai 2021
Urls filtrées indexées et crawl robots.txt Crawl et indexation Google, sitemaps 19 Mai 2021
Robots : n'autoriser que les 4 ou 5 moteurs de recherche principaux Crawl et indexation Google, sitemaps 15 Janvier 2021
Google me dit que ma page est bien indexée mais bloquée par robots.txt Crawl et indexation Google, sitemaps 25 Novembre 2020
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 17 Octobre 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
Robots.txt du site Kayak Débuter en référencement 11 Mars 2020