Bonjour,
Par quel moyen(s) technique(s) puis-je signaler aux crawlers que le lien suivant nécessite une authentification et donc ce n'est pas la peine de suivre ce lien ?
Typiquement, j'ai des liens sur mes pages qui nécessitent de se connecter. Si l'on n'est pas connecté, le lien redirige vers la page de connexion (ex: /login?next=tralala). Donc tous les bots finissent leur course sur la page de login (qui est en no-index) et je souhaiterais qu'ils s'arrêtent avant de suivre le lien afin d'économiser des ressources à tout le monde.
Est-ce que ça vaudrait le coup/coût de mettre en exclusion "/login" dans le robots.txt ?
Merci d'avance.
Par quel moyen(s) technique(s) puis-je signaler aux crawlers que le lien suivant nécessite une authentification et donc ce n'est pas la peine de suivre ce lien ?
Typiquement, j'ai des liens sur mes pages qui nécessitent de se connecter. Si l'on n'est pas connecté, le lien redirige vers la page de connexion (ex: /login?next=tralala). Donc tous les bots finissent leur course sur la page de login (qui est en no-index) et je souhaiterais qu'ils s'arrêtent avant de suivre le lien afin d'économiser des ressources à tout le monde.
Est-ce que ça vaudrait le coup/coût de mettre en exclusion "/login" dans le robots.txt ?
Merci d'avance.
