Robotsxx.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par elios, 19 Mars 2003.

  1. elios
    elios WRInaute discret
    Inscrit:
    16 Octobre 2002
    Messages:
    58
    J'aime reçus:
    0
    Hello,
    Googlebot avait l'habitude de visiter les robots.txt....mais les robotsxx.txt, ça a l'air nouveau. QQn saurait-il à quoi celà correspond?
     
  2. vanillefraise
    vanillefraise WRInaute discret
    Inscrit:
    29 Novembre 2002
    Messages:
    213
    J'aime reçus:
    0
    Peut-être que Googlebot aime les sites cochons ?
     
  3. Dams
    Dams WRInaute discret
    Inscrit:
    10 Mars 2003
    Messages:
    124
    J'aime reçus:
    0
    D'ou sort tu cette information ?
     
  4. Ben
    Ben WRInaute discret
    Inscrit:
    20 Février 2003
    Messages:
    171
    J'aime reçus:
    0
    FAST avait eu un probleme similaire en juin 2002, le moteur cherchait des fichiers robotsxx.txt mais ca n'a pas duré longtemps. J'imagine que google s'en apercevra rapidement aussi.

    Je me demande a quoi c'est du... peut etre une nouvelle version du fichier robots.txt en préparation :D
     
  5. apocalx
    apocalx WRInaute discret
    Inscrit:
    14 Novembre 2002
    Messages:
    108
    J'aime reçus:
    0
    En ce qui me concerne, Google essaye parfois de trouver des robots.txt a la racine de mon site (normal), mais aussi dans des répertoires du site!
     
  6. elios
    elios WRInaute discret
    Inscrit:
    16 Octobre 2002
    Messages:
    58
    J'aime reçus:
    0
    De les logs
     
  7. jeannot
    jeannot Nouveau WRInaute
    Inscrit:
    4 Avril 2003
    Messages:
    1
    J'aime reçus:
    0
    Yes

    Je confirme : Google est une petite fouine cochonne...
     
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice