robot.txt ... comment faire ?

Nouveau WRInaute
Bonjour,

J'ai créé un site depuis plusieurs mois déjà ; enregistré sur GG et d'autres moteurs, il n'apparait nulle part et les seuls visiteurs sont des moteurs qui cherchent le robots.txt ... mais je ne sais pas faire ce genre de fichier ni quoi mettre exactement à l'intérieur ! http://www.letrangemountain.com

Si vous avez quelques pistes, cela m'aiderait un peu, et cela permettrait j'espère, d'être (enfin) référencé dans GG !

Merci à tous
:wink:
 
Nouveau WRInaute
ouais ... kès je mets dedans ; où je le place ... à la racine du site ou autre part ? je n'en ai jamais fait ...

:?
 
WRInaute impliqué
Pour faire plaisir aux moteurs j'ai mis un robots.txt ...vide ( je ne veux rien exclure et surtout éviter les bêtises) :)
edit: à la racine du site.
 
WRInaute accro
Oui, tu commences par mettre un robots.txt vide à la racine de ton site (excuse moi, c'est toi qui parles de robots.txt, je pensais que tu savais de quoi il ressort).

Si en plus il y'a des parties de ton site que tu ne veux pas laisser indexer, tu fais ton robots.txt de la sorte:

User-agent: *
Disallow: /répertoire interdit
Disallow: /fichier interdit.html

etc...

Par défaut, ce qui n'est pas interdit de visite est autorisé, et donc indexable...
 
WRInaute discret
Y a une logique pour interdire ? qu'est ce qu'il faut interdire ?

Peut on interdire avec des caractère generique. Genre site.com/utilisateur*.html

Pour interdire hsite.com/utilisateur1.html
Pour interdire httsite.com/utilisateur2.html
...

j'en ai marre gg m'indexe en premiere page a chaque fois la carte de visite du dernir utilisateur enregistré.
 
Nouveau WRInaute
HawkEye_TpfH a dit:
il y'a des parties de ton site que tu ne veux pas laisser indexer, tu fais ton robots.txt de la sorte:

User-agent: *
Disallow: /répertoire interdit
Disallow: /fichier interdit.html

Merci,
Avant d'interdire, je voudrais autoriser les moteurs à venir et à visiter le site ... puis par la suite je pourrais interdire ! Je ne sais pas ce qui plait à un moteur, mais le but est qu'il visite le site pour une meilleure indexation. Alors quel est le code à y mettre ; on m'a dit qu'il fallait recopier les méta dans le .txt, cé vrai ?
 
WRInaute accro
Bonjour,

robots.txt est inutile si tu veux autoriser tous les robots à visiter ton site. Le seul avantage d'ajouter un robots.txt vide est que tes logs n'enregistreront plus un code 404 à chaque demande pour ce fichier. Quand les robots constatent que robots.txt est absent, ils savent qu'ils peuvent visiter ton site sans restriction. Donc pour eux, c'est cool. :D

Il y a beaucoup de JavaScript dans tes pages. Ce n'est pas favorable à une bonne indexation.

Inscrire un site sur Google, Yahoo ou MSN est inutile. Cela ne garantit pas l'indexation. Les principaux moteurs sont capables de trouver ton site tous seuls, mais, ce qu'il te faut surtout, ce sont des liens qui pointent vers ton site, parce que maintenant, ça manque cruellement. Et sans lien, les moteurs se disent que ton site n'est pas apprécié des autres webmasters, donc peu intéressant et ils le laissent tomber. :(

Jean-Luc
 
Nouveau WRInaute
jeanluc a dit:
Et sans lien, les moteurs se disent que ton site n'est pas apprécié des autres webmasters, donc peu intéressant et ils le laissent tomber. :(

Jean-Luc

Donc il vaut mieux laisser tomber le .txt et aller chercher du lien pour que je soit un peut mieux vu ? Je vais donc mettre un .txt vide pour éviter le 404 ... mais je ne vois pas pourquoi les moteurs le cherche si on doit en fin de compte mettre un fichier vide :?
 
WRInaute accro
nanotec a dit:
Donc il vaut mieux laisser tomber le .txt et aller chercher du lien pour que je soit un peut mieux vu ?
Absolument!

nanotec a dit:
... mais je ne vois pas pourquoi les moteurs le cherche si on doit en fin de compte mettre un fichier vide :?
Tu ne dois pas nécessairement mettre un fichier vide. Si tu veux dire aux robots de ne pas visiter certaines parties de ton site, tu indiques ces parties dans le robots.txt. Et il faut bien que les robots le cherche pour savoir s'il est là avec des interdictions ou pas.

Jean-Luc
 
Nouveau WRInaute
Merci à tous pour ces qques tuyaux ... Y va maintenant falloir que je trouve du monde pour faire des liens vers mon site ; encore plus difficile que le .txt :)

A part le classique enregistrement dans des annuaires, moteurs ou autres, existe t-il un moyen de générer du lien (sauf échange de bannieres rémunéres) ?
 
Discussions similaires
Haut