robot.txt ... comment faire ?

Discussion dans 'Problèmes de référencement spécifiques à vos sites' créé par nanotec, 3 Janvier 2006.

  1. nanotec
    nanotec Nouveau WRInaute
    Inscrit:
    19 Avril 2005
    Messages:
    22
    J'aime reçus:
    0
    Bonjour,

    J'ai créé un site depuis plusieurs mois déjà ; enregistré sur GG et d'autres moteurs, il n'apparait nulle part et les seuls visiteurs sont des moteurs qui cherchent le robots.txt ... mais je ne sais pas faire ce genre de fichier ni quoi mettre exactement à l'intérieur ! http://www.letrangemountain.com

    Si vous avez quelques pistes, cela m'aiderait un peu, et cela permettrait j'espère, d'être (enfin) référencé dans GG !

    Merci à tous
    :wink:
     
  2. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    13 857
    J'aime reçus:
    5
    Y'a pas de robots.txt sur ton site...

    ...mets-en un ?
     
  3. nanotec
    nanotec Nouveau WRInaute
    Inscrit:
    19 Avril 2005
    Messages:
    22
    J'aime reçus:
    0
    ouais ... kès je mets dedans ; où je le place ... à la racine du site ou autre part ? je n'en ai jamais fait ...

    :?
     
  4. maetga
    maetga WRInaute impliqué
    Inscrit:
    22 Mai 2004
    Messages:
    582
    J'aime reçus:
    0
    Pour faire plaisir aux moteurs j'ai mis un robots.txt ...vide ( je ne veux rien exclure et surtout éviter les bêtises) :)
    edit: à la racine du site.
     
  5. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    13 857
    J'aime reçus:
    5
    Oui, tu commences par mettre un robots.txt vide à la racine de ton site (excuse moi, c'est toi qui parles de robots.txt, je pensais que tu savais de quoi il ressort).

    Si en plus il y'a des parties de ton site que tu ne veux pas laisser indexer, tu fais ton robots.txt de la sorte:

    User-agent: *
    Disallow: /répertoire interdit
    Disallow: /fichier interdit.html

    etc...

    Par défaut, ce qui n'est pas interdit de visite est autorisé, et donc indexable...
     
  6. raphaelu
    raphaelu WRInaute discret
    Inscrit:
    4 Février 2005
    Messages:
    88
    J'aime reçus:
    0
    Y a une logique pour interdire ? qu'est ce qu'il faut interdire ?

    Peut on interdire avec des caractère generique. Genre site.com/utilisateur*.html

    Pour interdire hsite.com/utilisateur1.html
    Pour interdire httsite.com/utilisateur2.html
    ...

    j'en ai marre gg m'indexe en premiere page a chaque fois la carte de visite du dernir utilisateur enregistré.
     
  7. nanotec
    nanotec Nouveau WRInaute
    Inscrit:
    19 Avril 2005
    Messages:
    22
    J'aime reçus:
    0
    Merci,
    Avant d'interdire, je voudrais autoriser les moteurs à venir et à visiter le site ... puis par la suite je pourrais interdire ! Je ne sais pas ce qui plait à un moteur, mais le but est qu'il visite le site pour une meilleure indexation. Alors quel est le code à y mettre ; on m'a dit qu'il fallait recopier les méta dans le .txt, cé vrai ?
     
  8. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Bonjour,

    robots.txt est inutile si tu veux autoriser tous les robots à visiter ton site. Le seul avantage d'ajouter un robots.txt vide est que tes logs n'enregistreront plus un code 404 à chaque demande pour ce fichier. Quand les robots constatent que robots.txt est absent, ils savent qu'ils peuvent visiter ton site sans restriction. Donc pour eux, c'est cool. :D

    Il y a beaucoup de JavaScript dans tes pages. Ce n'est pas favorable à une bonne indexation.

    Inscrire un site sur Google, Yahoo ou MSN est inutile. Cela ne garantit pas l'indexation. Les principaux moteurs sont capables de trouver ton site tous seuls, mais, ce qu'il te faut surtout, ce sont des liens qui pointent vers ton site, parce que maintenant, ça manque cruellement. Et sans lien, les moteurs se disent que ton site n'est pas apprécié des autres webmasters, donc peu intéressant et ils le laissent tomber. :(

    Jean-Luc
     
  9. nanotec
    nanotec Nouveau WRInaute
    Inscrit:
    19 Avril 2005
    Messages:
    22
    J'aime reçus:
    0
    Donc il vaut mieux laisser tomber le .txt et aller chercher du lien pour que je soit un peut mieux vu ? Je vais donc mettre un .txt vide pour éviter le 404 ... mais je ne vois pas pourquoi les moteurs le cherche si on doit en fin de compte mettre un fichier vide :?
     
  10. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Absolument!

    Tu ne dois pas nécessairement mettre un fichier vide. Si tu veux dire aux robots de ne pas visiter certaines parties de ton site, tu indiques ces parties dans le robots.txt. Et il faut bien que les robots le cherche pour savoir s'il est là avec des interdictions ou pas.

    Jean-Luc
     
  11. nanotec
    nanotec Nouveau WRInaute
    Inscrit:
    19 Avril 2005
    Messages:
    22
    J'aime reçus:
    0
    Merci à tous pour ces qques tuyaux ... Y va maintenant falloir que je trouve du monde pour faire des liens vers mon site ; encore plus difficile que le .txt :)

    A part le classique enregistrement dans des annuaires, moteurs ou autres, existe t-il un moyen de générer du lien (sauf échange de bannieres rémunéres) ?
     
  12. cyberghostjp
    cyberghostjp WRInaute occasionnel
    Inscrit:
    29 Février 2004
    Messages:
    453
    J'aime reçus:
    0
    Des partenariats avec des sites se trouvant dans la même thématique que toi.
     
Chargement...
Similar Threads - robot Forum Date
Audit SEO : questions techniques sur robots.txt Demandes d'avis et de conseils sur vos sites 19 Septembre 2022
Page de Login et fichier Robots.Txt Débuter en référencement 11 Septembre 2022
Duplicate content "?p=..." et robots.txt Crawl et indexation Google, sitemaps 7 Septembre 2022
Meta robots noindex WordPress Problèmes de référencement spécifiques à vos sites 9 Août 2022
robots.txt bloque l'accès à mon site par Google Débuter en référencement 7 Juillet 2022
Problème : Google Crawl et Index des pages en No Index et bloqué par le robot.txt Crawl et indexation Google, sitemaps 26 Avril 2022
Pourquoi ne pas utiliser le robots.txt pour interdire l'indexation ? Débuter en référencement 14 Avril 2022
canonical et robots=index sur une même page Débuter en référencement 7 Décembre 2021
le noindex dans le robots.txt Débuter en référencement 19 Novembre 2021
suppression des pages bloquées par robots.txt Débuter en référencement 18 Octobre 2021
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 14 Juillet 2021
Les mots-clés de mon site ne sont pas détectés par les robots de référencement Problèmes de référencement spécifiques à vos sites 7 Juillet 2021
Wordpress et le robots.txt Débuter en référencement 21 Juin 2021
Search Console noindex détecté dans la balise Meta robots Débuter en référencement 21 Mai 2021
Urls filtrées indexées et crawl robots.txt Crawl et indexation Google, sitemaps 19 Mai 2021
Backlinks de sites robot Netlinking, backlinks, liens et redirections 24 Mars 2021
Robots : n'autoriser que les 4 ou 5 moteurs de recherche principaux Crawl et indexation Google, sitemaps 15 Janvier 2021
erreurs robots.txt Crawl et indexation Google, sitemaps 23 Décembre 2020
Robot et loading="lazy" Débuter en référencement 10 Décembre 2020
blocage robot deny from all Crawl et indexation Google, sitemaps 1 Décembre 2020