Google bot et robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Aktivist, 15 Novembre 2002.

  1. Aktivist
    Aktivist WRInaute discret
    Inscrit:
    23 Août 2002
    Messages:
    205
    J'aime reçus:
    0
    J'ai vu ca dans mes logs :
    crawler12.googlebot.com web1 - [12/Nov/2002:07:49:50 +0100] "GET /robots.txt HTTP/1.0" 200 38 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
    crawler12.googlebot.com web1 - [12/Nov/2002:07:49:50 +0100] "GET / HTTP/1.0" 200 5712 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
    Cela veut-il dire que google a vu le fichier robots.txt puis est parti de mon site...
     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 804
    J'aime reçus:
    259
    c'est très bien, tu as mis un fichier robots.txt, et GoogleBot fait son travail, à savoir le consulter... que dire de plus ?
    c'est mieux sans doute que de ne pas avoir de fichier, car dans ce cas GoogleBot récupère une erreur 404 à chaque visite (ou presque).
    https://www.webrankinfo.com/forums/viewp ... 3.htm#2973
     
  3. Anonymous
    Anonymous Guest
    il a aussi regardé la page d'accueil : "GET / HTTP/1.0" ou du moins celle qui est à la racine "/" du site.
     
  4. laurent
    laurent Nouveau WRInaute
    Inscrit:
    22 Septembre 2002
    Messages:
    42
    J'aime reçus:
    0
    En quoi est ce genant le bot tombe sur une 404 a chaques fois ?
    ca ne l'empeche pas de faire son travail ..
     
  5. Aktivist
    Aktivist WRInaute discret
    Inscrit:
    23 Août 2002
    Messages:
    205
    J'aime reçus:
    0
    Laurent le mieux c'est de mettre un fichier robots.txt et de modifier le fichier .htaccess
     
  6. Anonymous
    Anonymous Guest
    Pourquoi google vient voir mon fichier robots.txt ( qui est le meme que sur webrankinfo) et part juste aprés???
     
Chargement...
Similar Threads - Google bot robots Forum Date
Passage en https et problème robots.txt dans Google Search Console Débuter en référencement 26 Mars 2018
Robots.txt ligne génante selon Googlebot votre avis ? Crawl et indexation Google, sitemaps 23 Mai 2017
Code source et robots Google Débuter en référencement 18 Avril 2017
Robots.txt : changement soudain d'interpretation par google Crawl et indexation Google, sitemaps 18 Février 2016
Robots.txt pour Google Crawl et indexation Google, sitemaps 21 Octobre 2015
Google affiche dans ses résultats des URLS bloquées par robots.txt ! Crawl et indexation Google, sitemaps 26 Juin 2015
Robots non filtré par Google Analytics ? Google Analytics 18 Janvier 2015
Google ne lit-il pas mon fichier robots.txt ? Crawl et indexation Google, sitemaps 8 Décembre 2014
Robots de Google gênés par erreur FastCGI ? Débuter en référencement 26 Août 2014
Bug Google robots.txt sitemaps Crawl et indexation Google, sitemaps 23 Janvier 2014
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice