robot.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par garfunkel, 21 Juillet 2004.

  1. garfunkel
    garfunkel Nouveau WRInaute
    Inscrit:
    8 Juillet 2004
    Messages:
    21
    J'aime reçus:
    0
    Bonjour,

    Je voulais savoir si le fichier robot.txt avait une réelle incidence sur le référencement. Je veux dire par là que pour le moment notre site n'en a pas mais toutes les pages on les méta indiquant d'indéxer ou non la page. En consultant les logs, j'ai remarqué qu'il cherchait le fichier robot.txt. J'ai donc lu sur WRI que je pouvais en mettre 1 fichier vide.
    Mais cela va-t-il changer de facon négative ou positive le référencement du site ?
     
  2. lou
    lou WRInaute occasionnel
    Inscrit:
    9 Mai 2004
    Messages:
    405
    J'aime reçus:
    0
    ça va rien changé du tout, t'auras juste une erreur 404 en moins dans tes logs.
     
  3. ysimon
    ysimon WRInaute discret
    Inscrit:
    24 Février 2004
    Messages:
    122
    J'aime reçus:
    0
    réponse : aucune, tu peux y mettre tout ce que tu veux dedans, ca ne servira à rien

    le nom du fichier c'est robotS.txt

    8O 8O 8O 8O 8O 8O 8O 8O 8O
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 057
    J'aime reçus:
    533
    l'intérêt de mettre un fichier vide est d'éviter d'avoir des erreurs 404 quand les robots viennent sur ton site...
     
  5. ysimon
    ysimon WRInaute discret
    Inscrit:
    24 Février 2004
    Messages:
    122
    J'aime reçus:
    0
    je vais vous dire
    moi, je prefere ne pas mettre de fichier robots.txt
    si j'en ai la possibilité

    en effet, parfois, des hackers cherchent des vulnérabilités à l'aide de ces fichiers
    par exemple, sur http://fr.kelkoo.com/robots.txt
    moi, je vois
    /admin

    je me dis ... "tiens tiens" .. interessant ce repertoire

    si y'a pas de fichier du tout ... et bien au moins, les hackers viennent pas voir
    ce qu'il y a dedans

    si y'en a un, ils s'interesseront un pouillème plus à ton site pour voir les eventuels trous de sécu
     
  6. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 057
    J'aime reçus:
    533
    avec un fichier vide je ne vois pas trop ce que ça peut faire...
     
  7. ysimon
    ysimon WRInaute discret
    Inscrit:
    24 Février 2004
    Messages:
    122
    J'aime reçus:
    0
    je comprends bien
    mais avoir un 404, c'est si grave ?

    ;-)
     
  8. Bool
    Bool WRInaute passionné
    Inscrit:
    26 Février 2004
    Messages:
    1 546
    J'aime reçus:
    0
    >> mais avoir un 404, c'est si grave ?

    bah si tu surveilles régulièrement des logs Apache pour détecter un éventuel problème, ça peut être vite énervant d'avoir des centaines de lignes correspondant à de "fausses" erreurs.

    après, à toi de voir...
     
Chargement...
Similar Threads - robot Forum Date
Robots : n'autoriser que les 4 ou 5 moteurs de recherche principaux Crawl et indexation Google, sitemaps 15 Janvier 2021
erreurs robots.txt Crawl et indexation Google, sitemaps 23 Décembre 2020
Robot et loading="lazy" Débuter en référencement 10 Décembre 2020
blocage robot deny from all Crawl et indexation Google, sitemaps 1 Décembre 2020
Google me dit que ma page est bien indexée mais bloquée par robots.txt Crawl et indexation Google, sitemaps 25 Novembre 2020
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 17 Octobre 2020
Le robot AdSense ne trouve pas mon script entre head et /head, pourtant il s'y trouve AdSense 13 Juillet 2020
WordPress ancien site sous WP spammé par robot coréen - référencement dans les choux Problèmes de référencement spécifiques à vos sites 27 Juin 2020
Analytics et robot.txt Google Analytics 23 Juin 2020
lien variable à bloquer sur robots Développement d'un site Web ou d'une appli mobile 3 Mai 2020