Salut à tous,
Aujourd'hui je voulais en apprendre plus sur les Robots.txt et donc je me suis amusé à afficher celui de pas mal de sites et je tombe sur celui de kayak (location de voiture) et leur Robots.txt est juste énorme. Du coup je me demandais si vraiment ça valait la peine d'en faire un aussi long ? C'est à dire est-ce qu'ils en ont mis trop ou alors leur robots.txt est vraiment bien opti ?
Merci d'avance pour vos réponses et bonne soirée.
Aujourd'hui je voulais en apprendre plus sur les Robots.txt et donc je me suis amusé à afficher celui de pas mal de sites et je tombe sur celui de kayak (location de voiture) et leur Robots.txt est juste énorme. Du coup je me demandais si vraiment ça valait la peine d'en faire un aussi long ? C'est à dire est-ce qu'ils en ont mis trop ou alors leur robots.txt est vraiment bien opti ?
Merci d'avance pour vos réponses et bonne soirée.