Modèle Robots.txt

WRInaute passionné Inscrit le: 10 Jan 2006 Messages: 514

Bonjour.

Quelqu'un pourrait-il me dire si le fichier robots.txt est primordial...? Si vous pouviez me refiler un modèle également ca serai sympa...j'ai entendu dire que les robots aiment qu'on s'occupent d'eux Razz

.

Merci

Posté le : Mar Jan 16, 2007 20:41 Sujet du message: Modèle Robots.txt

salut

Primordial ? Si tu n'as aucune infos à mettre dedans, non ....

Pour un exemple, tu peux regarder celui de ce site : http://www.webrankinfo.com/robots.txt

fab

WRInaute accro Inscrit le: 29 Sep 2006 Messages: 1312

Primordial pour éviter le spam sur un forum.
Avec quelques petites adaptations pour son propre site, ce robots.txt peut être une référence.

Posté le : Jeu Sep 06, 2007 11:35 Sujet du message: Modèle Robots.txt

personne n'aurait un robots.txt reactualisé avec la liste des "badbots" ?

WRInaute accro Inscrit le: 29 Sep 2006 Messages: 1312

Les mauvais site ne prennent pas en compte robots.txt ou ils changent la référence de requête. Mais ils ne peuvent pas contourner .htaccess.
Il y a une liste de protection sur WRI par .htaccess.

Modèle Robots.txt

Autres sujets de discussion :