exemple de fichier robot txt

[cohen]

Bonjour
j'ai beau rechercher sur le net mais je ne trouve pas d'exemple simple de fichier robot.txt qui peut en envoyer une copie ?
d'autre part dans le cas de la mise en place du fichier robot.TXT? que deviennent les metas?
merci pour vos conseils
eric cohen

 

[hetzeld]

Bonjour,

Tu peux en prendre une copie sur n'importe quel site,dont le mien, en entrant le nom complet dans ton navigateur. rajoute simplement robots.txt à la fin de l'url de la racine du site.

Le fichier robots.txt n'influence pas les meta, il permet simplement de donner instruction à certains (ou tous) moteurs de ne pas indexer tout ou partie du site.

Va voir à The robot exclusion Standard

Cordialement,

Dan

 

[Aktivist]

Tu peux aussi aller faire un tour sur cette page qui pourrait écliarer tes lanternes.

• http://www.lycos.fr/help/tips/robots.htm

 

[cohen]

lien cassé sur lycos

re bonjour
le lien semble cassé sur lycos. Pour le fichier robots.txt, etonnant de le regarder : il n'y a pas grand chose dedans ! je vais tenter et vous tiendrai au courant
bon dimanche

 

[WebRankInfo]

si tu veux permettre aux robots de tout indexer, mais éviter qu'ils obtiennent une erreur 404 à chaque fois qu'ils demandent ce fichier, utilise un vide

# Allow all
User-agent:  *
Disallow:

 

[Tchinkatchuk]

agent TurnitinBot

il s'agit d'un spider ? lequel ?

Sinon merci beaucoup pour ton fichier robot, ca aide .

Bonne journée