Robots.txt du site Kayak

[Dackota]

Salut à tous,

Aujourd'hui je voulais en apprendre plus sur les Robots.txt et donc je me suis amusé à afficher celui de pas mal de sites et je tombe sur celui de kayak (location de voiture) et leur Robots.txt est juste énorme. Du coup je me demandais si vraiment ça valait la peine d'en faire un aussi long ? C'est à dire est-ce qu'ils en ont mis trop ou alors leur robots.txt est vraiment bien opti ?

Merci d'avance pour vos réponses et bonne soirée.

 

[spout]

Le robots.txt le mieux optimisé est :

 

[Dackota]

Le robots.txt le mieux optimisé est :

Bonjour Spout,

Je ne comprend pas ta réponse

 

[spout]

Ça me semble pourtant clair, le mieux optimisé c'est un robots.txt vide (AMHA).
Un fichier qd même présent afin d'éviter les 404.

 

[WebRankInfo]

chaque site étant différent, je ne vois pas bien l'intérêt d'aller regarder le robots.txt d'autres sites (surtout s'ils ne sont pas comparables en taille ou complexité)

 

[rick38]

Puis leur robots.txt est énorme parce qu'il a plein de Allow (inutiles) et de Disallow (pas fiable, mieux vaut des meta noindex dans les pages).

 

[Dackota]

chaque site étant différent, je ne vois pas bien l'intérêt d'aller regarder le robots.txt d'autres sites (surtout s'ils ne sont pas comparables en taille ou complexité)

Par simple curiosité

 

[DomTo]

Le robots.txt le mieux optimisé est :

C'est ce que l'on peut lire sur le site de Yoast, et qui est un conseil que j'ai suivi aussi avant d'avoir pleins d'erreurs dans la search console parce que google m'indexais des fichiers wordpress internes qui se retrouvaient dans les pages de recherche.

Il m'indexait des centaines d'url avec "?".

Au final, quand on a beaucoup de page, et que l'on aime pas avoir des erreurs sur la search console, il vaut mieux avoir un bon robots.txt qui indique les pages à ne pas indexer à google et cela permet aussi de garder du budget de crawl.

Enfin, ce conseil de ne rien mettre dans le robots.txt est surement utile pour les sites avec un template clean, sans gestion de membre, sans forum et sans wordpress ou un wordpress modifié par un pro, mais pas pour les débutants et ceux qui utilisent wordpress sans maîtriser le code et les réglages "sous le capot".

 

[rick38]

Ben j'ai une gestion de membres, un forum etc, mais il est vrai que je n'utilise pas quelque chose comme WordPress, qui n'a que des inconvénients quand on est capable de développer soi-même, par exemple je mets en noindex les profils de membres qui ont laissé vide ou presque leur profil, et j'indexe ceux qui y ont écrit assez de texte, une flexibilité qui n'est pas possible avec un robots.txt.

 

[WebRankInfo]

vous confondez encore pas mal crawl et indexation...

 

[UsagiYojimbo]

Disallow (pas fiable, mieux vaut des meta noindex dans les pages).

L'un n'empêche pas l'autre, comme le rappelle @WebRankInfo.