Question robots.txt

[biggief]

Bonjour,

Google a indexé une page d´un des sous-domaines de mon site (quelques pages ont un lien vers elle) et je souhaiterais qu´elle ne le soit plus.

La solution est donc le fichier robots.txt.

L´url de la page est du genre :

http://sousdomaine.example.com/dossier1 ... apage.html

Du coup je ne sais pas où ranger (ni quoi écrire) dans mon robots txt :
- Est-ce que je le place à la racine de mon domaine ?
- Est-ce que je le place dans le dossier vers lequel pointe mon sous-domaine ?
- Est-ce que je le range dans un des dossiers "dossier1" ou "dossier2"

Je vous remercie par avance.

 

[jeanluc]

Bonjour,

- Est-ce que je le place dans le dossier vers lequel pointe mon sous-domaine ?

Oui et uniquement là!

User-agent: *
Disallow: /dossier1/dossier2/mapage.html

Jean-Luc

 

[fredwat]

salut jeanluc :wink:
une question me taraude l'esprit depuis quelques temps!
le fichier "robots.txt" est-il toujours nécessaire dans le cas bien entendu où l'on souhaite faire indexer toutes ses pages.
sa présence ne peut-elle pas être un éventuel frein (dans le cas cité plus haut)
:?:
S'il s'agit d'une stupidité qu'un modo supprime ce post.

A+
Fred

 

[HawkEye]

fredwat: Non non, je le laisse... ASSUME !

S'il n'y a pas de robots.txt c'est idem que de mettre un robots.txt qui autorise tout.

Pas de frein

 

[jeanluc]

Salut fredwat,

robots.txt n'est pas toujours nécessaire. Si on n'a rien à interdire aux robots, il n'est pas utile. S'il est absent, les robots reçoivent une erreur 404 quand ils le demandent et ils savent alors qu'ils ont le champ libre sur le site. Ce n'est donc certainement pas un problème pour les robots. Le petit inconvénient est qu'on se retrouve alors avec une série d'erreurs 404 sur ce fichier inexistant, mais cela ne gène que l'esthétique des stats...

Jean-Luc

 

[fredwat]

Merci à HawkEye_TpfH et jeanluc

j'assume donc et repars un peu plus serein :wink:
A+
Fred

 

[Patrice A.]

Pour les URL d'exemple; il existe example.com et example.org

 

[dorian53]

Salut fredwat,

robots.txt n'est pas toujours nécessaire. Si on n'a rien à interdire aux robots, il n'est pas utile. S'il est absent, les robots reçoivent une erreur 404 quand ils le demandent et ils savent alors qu'ils ont le champ libre sur le site. Ce n'est donc certainement pas un problème pour les robots. Le petit inconvénient est qu'on se retrouve alors avec une série d'erreurs 404 sur ce fichier inexistant, mais cela ne gène que l'esthétique des stats...

Jean-Luc

+1 :wink:

Tout à fait !

 

[biggief]

Merci pour toutes ces précisions et merci Jeanluc pour ta réponse. C'est ce que je voulais savoir.

@ bientôt