Nombre d'url maximal dans robots.txt?

[informatruc]

Bonjour,

J'aimerai savoir si il y a un maximum d'url pour un fichier robots.txt et si oui combien?

Merci.

 

[correiaj]

Non

 

[informatruc]

Merci.

 

[e-kiwi]

je dirai qd meme dans la limite du raisonnable (1.000.000 de lignes ca commencerai à faire beaucoup )

 

[mowmow]

Je dirais plutot en terme de taille (octets) limite...

 

[informatruc]

Non

Pourtant, quand je vais supprimer mes url ici Google me dit ceci:

Ce fichier robots.txt est trop long. Envoyez un e-mail à l'adresse url-remove@google.com pour obtenir de l'aide.

Pourtant, le fichier ne fait pas 200 lignes. :roll:

 

[correiaj]

Je sais pas si cela y fait, mais voila tu as pas mal de blanc dans ton fichier et il y a quand meme plus de 20 lignes... ;-)

 

[F3UF3U]

regardes celui de la maison blanche ^^ tu vas voir :

http://www.whitehouse.gov/robots.txt


Bon je pense qu'il n'y a pas un nombre maximal de lignes ! :lol:

 

[correiaj]

Bon exemple ^^

 

[spidetra]

Le Bot de la maison Blanche est : whsearch

Si un jour vous voyez ce bot dans vos logs, vous savez qu'on vous surveille :lol:
ou alors des bots du type : ciasearch ou fbisearch