Comment éviter un piège à bots avec un crawler ?

Nouveau WRInaute
Je ne sais pas si je suis au bon endroit mais ma question est la suivante, comment se sortir avec un crawler comme seolyzer d'un piège à bots ou même en utilisant Screaming Frog ?

Que puis-je faire pour m'en sortir ? Quelle est la démarche à suivre ?
 
Discussions similaires
Haut