Que faut il exclure avec le fichier robots.txt?

[amapic]

Bonjour,
Quels sont les grands classiques de choses a exclure avec robots.txt ? Je vais exclure tous les dossiers wordpress dans mon cas mais cela est-il vraiment important ? Est-ce que ca peut nuire au site si le robot perd son temps sur des choses inutiles ?
merci

 

[Rod la Kox]

que faut il exclure avec le fichier robots.txt?

Tout ce qui n'a rien à faire dans les SERPs.
- ce que tu souhaites "cacher"
- ce que tu ne souhaites pas voir ressortir
- les pages dont tu ne souhaites pas qu'elle deviennent des "entrées"
- les pages contact, cgu, mentions, etc...

 

[Madrileño]

Complément :
https://www.webrankinfo.com/dossiers/indexation/20-ans-robots-txt .