robot.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par garfunkel, 21 Juillet 2004.

  1. garfunkel
    garfunkel Nouveau WRInaute
    Inscrit:
    8 Juillet 2004
    Messages:
    21
    J'aime reçus:
    0
    Bonjour,

    Je voulais savoir si le fichier robot.txt avait une réelle incidence sur le référencement. Je veux dire par là que pour le moment notre site n'en a pas mais toutes les pages on les méta indiquant d'indéxer ou non la page. En consultant les logs, j'ai remarqué qu'il cherchait le fichier robot.txt. J'ai donc lu sur WRI que je pouvais en mettre 1 fichier vide.
    Mais cela va-t-il changer de facon négative ou positive le référencement du site ?
     
  2. lou
    lou WRInaute occasionnel
    Inscrit:
    9 Mai 2004
    Messages:
    405
    J'aime reçus:
    0
    ça va rien changé du tout, t'auras juste une erreur 404 en moins dans tes logs.
     
  3. ysimon
    ysimon WRInaute discret
    Inscrit:
    24 Février 2004
    Messages:
    122
    J'aime reçus:
    0
    réponse : aucune, tu peux y mettre tout ce que tu veux dedans, ca ne servira à rien

    le nom du fichier c'est robotS.txt

    8O 8O 8O 8O 8O 8O 8O 8O 8O
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 566
    J'aime reçus:
    421
    l'intérêt de mettre un fichier vide est d'éviter d'avoir des erreurs 404 quand les robots viennent sur ton site...
     
  5. ysimon
    ysimon WRInaute discret
    Inscrit:
    24 Février 2004
    Messages:
    122
    J'aime reçus:
    0
    je vais vous dire
    moi, je prefere ne pas mettre de fichier robots.txt
    si j'en ai la possibilité

    en effet, parfois, des hackers cherchent des vulnérabilités à l'aide de ces fichiers
    par exemple, sur http://fr.kelkoo.com/robots.txt
    moi, je vois
    /admin

    je me dis ... "tiens tiens" .. interessant ce repertoire

    si y'a pas de fichier du tout ... et bien au moins, les hackers viennent pas voir
    ce qu'il y a dedans

    si y'en a un, ils s'interesseront un pouillème plus à ton site pour voir les eventuels trous de sécu
     
  6. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 566
    J'aime reçus:
    421
    avec un fichier vide je ne vois pas trop ce que ça peut faire...
     
  7. ysimon
    ysimon WRInaute discret
    Inscrit:
    24 Février 2004
    Messages:
    122
    J'aime reçus:
    0
    je comprends bien
    mais avoir un 404, c'est si grave ?

    ;-)
     
  8. Bool
    Bool WRInaute passionné
    Inscrit:
    26 Février 2004
    Messages:
    1 546
    J'aime reçus:
    0
    >> mais avoir un 404, c'est si grave ?

    bah si tu surveilles régulièrement des logs Apache pour détecter un éventuel problème, ça peut être vite énervant d'avoir des centaines de lignes correspondant à de "fausses" erreurs.

    après, à toi de voir...
     
Chargement...
Similar Threads - robot Forum Date
lien variable à bloquer sur robots Développement d'un site Web ou d'une appli mobile 3 Mai 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
aide robot.txt svp Débuter en référencement 26 Mars 2020
Robots.txt du site Kayak Débuter en référencement 11 Mars 2020
Search Console Indexée malgré le blocage dans robots.txt Crawl et indexation Google, sitemaps 26 Février 2020
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Search Console Site FR en attente de Multilangue + syntaxe Robot.txt Référencement international (langues, pays) 5 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
Problèmes d'indexation et robots.txt Crawl et indexation Google, sitemaps 14 Octobre 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice