Robots.txt du site Kayak

Discussion dans 'Débuter en référencement' créé par Dackota, 11 Mars 2020.

  1. Dackota
    Dackota Nouveau WRInaute
    Inscrit:
    6 Septembre 2019
    Messages:
    32
    J'aime reçus:
    0
    Salut à tous,

    Aujourd'hui je voulais en apprendre plus sur les Robots.txt et donc je me suis amusé à afficher celui de pas mal de sites et je tombe sur celui de kayak (location de voiture) et leur Robots.txt est juste énorme. Du coup je me demandais si vraiment ça valait la peine d'en faire un aussi long ? C'est à dire est-ce qu'ils en ont mis trop ou alors leur robots.txt est vraiment bien opti ?

    Merci d'avance pour vos réponses et bonne soirée.
     
  2. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 956
    J'aime reçus:
    277
    Le robots.txt le mieux optimisé est :
    Code:
    
    
     
  3. Dackota
    Dackota Nouveau WRInaute
    Inscrit:
    6 Septembre 2019
    Messages:
    32
    J'aime reçus:
    0
    Bonjour Spout,

    Je ne comprend pas ta réponse
     
  4. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 956
    J'aime reçus:
    277
    Ça me semble pourtant clair, le mieux optimisé c'est un robots.txt vide (AMHA).
    Un fichier qd même présent afin d'éviter les 404.
     
  5. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 425
    J'aime reçus:
    403
    chaque site étant différent, je ne vois pas bien l'intérêt d'aller regarder le robots.txt d'autres sites (surtout s'ils ne sont pas comparables en taille ou complexité)
     
  6. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    1 396
    J'aime reçus:
    179
    Puis leur robots.txt est énorme parce qu'il a plein de Allow (inutiles) et de Disallow (pas fiable, mieux vaut des meta noindex dans les pages).
     
    Dackota apprécie ceci.
  7. Dackota
    Dackota Nouveau WRInaute
    Inscrit:
    6 Septembre 2019
    Messages:
    32
    J'aime reçus:
    0
    Par simple curiosité :)
     
  8. DomTo
    DomTo WRInaute discret
    Inscrit:
    30 Août 2016
    Messages:
    174
    J'aime reçus:
    15
    C'est ce que l'on peut lire sur le site de Yoast, et qui est un conseil que j'ai suivi aussi avant d'avoir pleins d'erreurs dans la search console parce que google m'indexais des fichiers wordpress internes qui se retrouvaient dans les pages de recherche.

    Il m'indexait des centaines d'url avec "?".

    Au final, quand on a beaucoup de page, et que l'on aime pas avoir des erreurs sur la search console, il vaut mieux avoir un bon robots.txt qui indique les pages à ne pas indexer à google et cela permet aussi de garder du budget de crawl.

    Enfin, ce conseil de ne rien mettre dans le robots.txt est surement utile pour les sites avec un template clean, sans gestion de membre, sans forum et sans wordpress ou un wordpress modifié par un pro, mais pas pour les débutants et ceux qui utilisent wordpress sans maîtriser le code et les réglages "sous le capot".
     
  9. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    1 396
    J'aime reçus:
    179
    Ben j'ai une gestion de membres, un forum etc, mais il est vrai que je n'utilise pas quelque chose comme WordPress, qui n'a que des inconvénients quand on est capable de développer soi-même, par exemple je mets en noindex les profils de membres qui ont laissé vide ou presque leur profil, et j'indexe ceux qui y ont écrit assez de texte, une flexibilité qui n'est pas possible avec un robots.txt.
     
  10. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 425
    J'aime reçus:
    403
    vous confondez encore pas mal crawl et indexation...
     
  11. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 882
    J'aime reçus:
    73
    L'un n'empêche pas l'autre, comme le rappelle @WebRankInfo.
     
Chargement...
Similar Threads - Robots Kayak Forum Date
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps Hier à 10:55
Search Console Indexée malgré le blocage dans robots.txt Crawl et indexation Google, sitemaps 26 Février 2020
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
Problèmes d'indexation et robots.txt Crawl et indexation Google, sitemaps 14 Octobre 2019
Réécriture et robots.txt Débuter en référencement 10 Octobre 2019
Page de test et fichier Robots.txt Crawl et indexation Google, sitemaps 9 Octobre 2019
Robots.txt et test url Crawl et indexation Google, sitemaps 9 Octobre 2019
Page d'accueil non indexée ? Conflit avec robots.txt Crawl et indexation Google, sitemaps 2 Octobre 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice