Robots.txt

[atbm]

J'ai placé ce fichier robots.txt à la racine de mon site...
User-agent: *
Disallow: /1af/img/
Disallow: /1am/img/
Disallow: /1as/img/
Disallow: /1eu/img/
Disallow: /1ile/img/
Disallow: /1perso/i_perso/
Disallow: /evas/i_evas/
Disallow: /flash/
Disallow: /indx_img/
Disallow: /j_script/
Disallow: /magasin/
User-agent: Inktomi Slurp
Disallow: /

Pourtant, Inktomi Slurp est encore passé après... D'après vous, y a-t-il une erreur dans mon fichier?
Est-ce que je peux mettre deux fois "User-agent: ", une fois pour tous les robots, afin de ne pas indexer certains dossiers, et une 2ème fois, pour tout interdire à Inktomi Slurp ???
Merci.

 

[Daktari]

Il faut toujours quelques jours avant qu'un robot ne tienne pleinement compte d'un robots.txt.

Maintenant pourquoi bloquer inktomi qui est un robot important pour le référencement ?

J'aurais mis un espace :

User-agent: *
Disallow: /1af/img/
Disallow: /1am/img/
Disallow: /1as/img/
Disallow: /1eu/img/
Disallow: /1ile/img/
Disallow: /1perso/i_perso/
Disallow: /evas/i_evas/
Disallow: /flash/
Disallow: /indx_img/
Disallow: /j_script/
Disallow: /magasin/

User-agent: Inktomi Slurp
Disallow: /

 

[jeanluc]

Bonjour,

Dans mes logs, les visites de inktomisearch.com renvoie à http://help.yahoo.com/help/us/ysearch/slurp.

La page http://help.yahoo.com/help/us/ysearch/s ... rp-02.html dit que le robot suit les instructions du premier user-agent contenant le mot Slurp et, en son absence, du premier user-agent "*".

Ils donnent l'exemple suivant

User-agent: Slurp
Disallow: /cgi-bin/

Ceci ne répond pas vraiment à ta question, mais peut peut-être aider.

Jean-Luc