robot.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par garfunkel, 21 Juillet 2004.

  1. garfunkel
    garfunkel Nouveau WRInaute
    Inscrit:
    8 Juillet 2004
    Messages:
    21
    J'aime reçus:
    0
    Bonjour,

    Je voulais savoir si le fichier robot.txt avait une réelle incidence sur le référencement. Je veux dire par là que pour le moment notre site n'en a pas mais toutes les pages on les méta indiquant d'indéxer ou non la page. En consultant les logs, j'ai remarqué qu'il cherchait le fichier robot.txt. J'ai donc lu sur WRI que je pouvais en mettre 1 fichier vide.
    Mais cela va-t-il changer de facon négative ou positive le référencement du site ?
     
  2. lou
    lou WRInaute occasionnel
    Inscrit:
    9 Mai 2004
    Messages:
    405
    J'aime reçus:
    0
    ça va rien changé du tout, t'auras juste une erreur 404 en moins dans tes logs.
     
  3. ysimon
    ysimon WRInaute discret
    Inscrit:
    24 Février 2004
    Messages:
    122
    J'aime reçus:
    0
    réponse : aucune, tu peux y mettre tout ce que tu veux dedans, ca ne servira à rien

    le nom du fichier c'est robotS.txt

    8O 8O 8O 8O 8O 8O 8O 8O 8O
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 395
    J'aime reçus:
    590
    l'intérêt de mettre un fichier vide est d'éviter d'avoir des erreurs 404 quand les robots viennent sur ton site...
     
  5. ysimon
    ysimon WRInaute discret
    Inscrit:
    24 Février 2004
    Messages:
    122
    J'aime reçus:
    0
    je vais vous dire
    moi, je prefere ne pas mettre de fichier robots.txt
    si j'en ai la possibilité

    en effet, parfois, des hackers cherchent des vulnérabilités à l'aide de ces fichiers
    par exemple, sur http://fr.kelkoo.com/robots.txt
    moi, je vois
    /admin

    je me dis ... "tiens tiens" .. interessant ce repertoire

    si y'a pas de fichier du tout ... et bien au moins, les hackers viennent pas voir
    ce qu'il y a dedans

    si y'en a un, ils s'interesseront un pouillème plus à ton site pour voir les eventuels trous de sécu
     
  6. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 395
    J'aime reçus:
    590
    avec un fichier vide je ne vois pas trop ce que ça peut faire...
     
  7. ysimon
    ysimon WRInaute discret
    Inscrit:
    24 Février 2004
    Messages:
    122
    J'aime reçus:
    0
    je comprends bien
    mais avoir un 404, c'est si grave ?

    ;-)
     
  8. Bool
    Bool WRInaute passionné
    Inscrit:
    26 Février 2004
    Messages:
    1 546
    J'aime reçus:
    0
    >> mais avoir un 404, c'est si grave ?

    bah si tu surveilles régulièrement des logs Apache pour détecter un éventuel problème, ça peut être vite énervant d'avoir des centaines de lignes correspondant à de "fausses" erreurs.

    après, à toi de voir...
     
Chargement...
Similar Threads - robot Forum Date
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 14 Juillet 2021
Les mots-clés de mon site ne sont pas détectés par les robots de référencement Problèmes de référencement spécifiques à vos sites 7 Juillet 2021
Wordpress et le robots.txt Débuter en référencement 21 Juin 2021
Search Console noindex détecté dans la balise Meta robots Débuter en référencement 21 Mai 2021
Urls filtrées indexées et crawl robots.txt Crawl et indexation Google, sitemaps 19 Mai 2021
Backlinks de sites robot Netlinking, backlinks, liens et redirections 24 Mars 2021
Robots : n'autoriser que les 4 ou 5 moteurs de recherche principaux Crawl et indexation Google, sitemaps 15 Janvier 2021
erreurs robots.txt Crawl et indexation Google, sitemaps 23 Décembre 2020
Robot et loading="lazy" Débuter en référencement 10 Décembre 2020
blocage robot deny from all Crawl et indexation Google, sitemaps 1 Décembre 2020