Pas de fichier robots.txt pour le domaine

[JL13]

Bonjour à tous. 8)
En utisant un outil sur le referencement, je trouve ceci pour mes métats
Pas de fichier Robots.txt pour le domaine
Est ce indispensable, et si oui, que faut'il renseigner dans cette partie.
Je vous remercie d'avance
.Bon Dimanche :wink:

 

[Ohax]

ça depent si tu veu qu'il y ai des parties de ton site non référencé ou que tu as pratiqué l'url rewriting

 

[pene-r]

salut :wink: ,
Je crois qu'il est recommandé d'en mettre au moins un vide, à la racine du site.
Il me semble que ne pas en avoir fait que les robots le cherche parfois avant d'aller plus loin.
Bon dimanche à toi aussi :wink:

P.S. regardes dans les articles wri

 

[JL13]

Il me semble que ne pas en avoir fait que les robots le cherche parfois avant d'aller plus loin.

Ceci expliquerait peut etre mes difficultés...

 

[JL13]

Voila, j'ai trouvé ca
Ce fichier indique pour chaque robot les zones de votre site qu'il ne doit pas indexer ("disallow"). Pour permettre à un robot dont le nom d'agent est "Bot" de tout indexer, il suffit d'indiquer les 2 lignes suivantes :
User-agent: Bot
Disallow:
Pour lui interdire d'indexer les répertoires /tests et /logs/v1 (et tous les sous-répertoires), il suffit de mettre :
User-agent: Bot
Disallow: /tests
Disallow: /logs/v1
Attention à utiliser une ligne Disallow par répertoire.
Pour établir une règle applicable à tous les robots, il suffit d'utiliser l'astérisque comme nom d'agent. L'exemple ci-dessous permet à tous les robots de tout indexer :
User-agent: *
Disallow:
Pour mettre en commentaires une ligne (qui sera donc ignorée), il faut la faire commencer par un dièse :
#exemple de fichier robots.txt
User-agent: Bot
Disallow:
Pour interdire l'indexation d'un fichier /test.htm, il suffit d'indiquer :
User-agent: Bot
Disallow: /test.htm

C'est un peu compliqué.Si je veux que le robot index toutes mes pages je dois prendre quoi ?
Merci

 

[pene-r]

Pour les détails des plus callés que moi te renseigneront :?

Pour ce que j'ai compris des bases:

céer un fichier nommé:
robots.txt (attention à bien écrire robots )
si il n'y a rien dedans le robot devrait aller partout.
Le placer à la racine du site (pas dans un répertoire)

Moi le mien il n'y a absolument aucune ligne et effectivement ça m'a aidé, mais pour le reste 8O , je ne peus malheureusement rien te dire :?

@+