Où faut-il placer le fichier robot.txt ?

[archos2]

J ai peu d 'info sur ce sujet. Où faut il placer le fichier robots.txt ?

je crois qu il faut mettre

user-agent: *


et après que doi je mettre. pouvez vous me donner un exemple du contenu d un fichier robot.txt

doit je mette les ulr sour la forme


dois je y mettre toutes les url du site.

merci pour vos exemple

 

[ch_lensois]

tu dois le placer a la racine de ton site.

Pour le reste, je pense qu'un petit tour sur le site te permettra d'avoir toutes les infos que tu souhaite
Y'a une rubrique spécial au fichier robots.txt

 

[lapi]

ouais voila une page qui te fera tu bien
-http://www.robotstxt.org/
ouais elle est en anglais mais bon tu peut la traduire avec un outil de ton choix

 

[archos2]

..

c est pas très bien indiqué et trop détaillé sur http://www.robotstxt.org/

je voudrais seulement savoir ou je place ce fichier texte..

un exemple de quelques lignes de ce qu il doit contenir.

après

user-agent: *

 

[serval2a]

Bonjour,

Il faut le placer à la racine du site, au niveau de la page d'accueil.

Et il doit contenir quelque chose comme :

User-agent: *
Disallow: /img/
Disallow: /forum/viewtopic.php
Disallow: /memo/
Disallow: /sessions/
Disallow: /annuaire/
Disallow: /admin/
Disallow: /news/
Disallow: /xoops/

Ou être vide pour ne rien interdire.

@+

 

[archos2]

..

très bien merci serva je vais essayer cela.

il y a l'exemple ci dessous

c est un nom de répertoire

Disallow: /img/

ici il s agit de page.;

Disallow: /forum/viewtopic.php

peut être qu il faut mettre nom de répertoir et nom de page.

je pense qu il faut mettre que le chemin de toutes les pages

 

[serval2a]

Re,

Effectivement Disallow: /img/ interdit l'accès à tout le répertoire et donc à tous les fichiers qui s'y trouvent, inutile de mettre par exemple Disallow: /img/102.jpg, Disallow: /img/picture.gif, etc.

 

[lapi]

Re: ..

c est pas très bien indiqué et trop détaillé sur http://www.robotstxt.org/

je voudrais seulement savoir ou je place ce fichier texte..

un exemple de quelques lignes de ce qu il doit contenir.

après

user-agent: *

c'est très bien explique et ya tout la dessus donc il faut te donner un peu de temps pour chercher au lieu d'attendre qu'on fasse tout pour toi

 

[archos2]

robots.txt contenu .. suite

j ai commencé la description des url de mon site

dite moi svp si cela est correct.

merci d avance

ca seprésente comme cela

User-agent: *
Disallow:/xxxxx.xxxx.org/aaaaaa/index.htm
Disallow:/xxxxx.xxxx.org/aaaaaa/actualite.html
Disallow:/xxxxx.xxxx.org/aaaaaa/catualite2.html
Disallow:/xxxxx.xxxx.org/aaaaa/actualite3.html
Disallow:/xxxxx.xxxx.org/artpjm/acz/zzzz.html
Disallow:/xxxxx.xxxx.org/artpjm/sim/ttttttt.html

 

[serval2a]

Bonjour,

C'est sans le nom de domaine, seulement la mention du repertoire et/ou de la page.
Ex : Disallow: /artpjm/sim/ttttttt.html

Tu trouveras sur mon WWW un générateur pour t'aider si jamais.

@+

 

[archos2]

disallow ?

serval2 d après les indications sur ton site le robot.txt semble servir à indiquer aux moteurs de ne pas indexer les pages

Les moteurs de recherches indexent à priori et sans vous demander votre avis toutes les pages de votre site web, pour autant il se peut que vous ne désiriez pas que ces robots puissent indexer certaines parties de votre site (images, données personnelles contenues sur des pages d'un répertoire du site...).

Je pensais le contraire que robots.text servait à aider à indexer toutes les pages indiquée par le fichier robot.txt

c est vrai que Disallow veut dire rejeter.

Mon objecti serait plus de demander aux moteurs d'indexer toutes les pages.

 

[jeanluc]

Bonjour,

Petite suggestion : lire les conseils sur le contenu du fichier robots.txt et aussi robots.txt : contenu du fichier.

Jean-Luc

 

[archos2]

..

merci jean luc les explications sur ton site au sujet de robots.txt sont tr-s claires.