Quel robots.txt pour un wordpress "jeune" ?

toutatix · 24 Juin 2016

Bonjour,

J'ai cherché sur GG des conseils par ci par là mais assez contradictoires (ex: JS à exclure ou pas...)

D'où ma question quel serait le contenu d'un robots TXT pour un site naissant 15 pages et 3 articles Qu'est ce qui serait important d'exclure ?

Merci pour votre retour.

spout · 24 Juin 2016

Meilleur robots.txt:
Code:
 

ABCWEB · 24 Juin 2016

Moi j'exclu l'interface d'administration

toutatix · 24 Juin 2016

Je vois que votre conseil est de laisser les choses se faire naturellement mais...

Wordpress ne crée pas naturellement de "doublons" ? par "category" / "author" / "Year" etc ?

Marie-Aude · 24 Juin 2016

Cela se gère avec du noindex, follow, pas dans le robots.txt

toutatix · 24 Juin 2016

merci

Similar Threads - robots wordpress jeune	Forum	Date
meta robots Wordpress	Demandes d'avis et de conseils sur vos sites	26 Octobre 2018
WOOCOMMERCE wordpress ROBOTS.TXT, que bloquez vous ?	e-commerce	22 Juin 2018
Mon fichier robots.txt wordpress	Développement d'un site Web ou d'une appli mobile	24 Octobre 2016
Robots spameurs commentaires wordpress bonne nouvelle !	Débuter en référencement	10 Février 2015
Site wordpress url bloquée par robots.txt	Problèmes de référencement spécifiques à vos sites	17 Juin 2013
Site wordpress url bloquée par robots.txt	Problèmes de référencement spécifiques à vos sites	24 Novembre 2012
Robots.txt, wordpress et gwt	Crawl et indexation Google, sitemaps	1 Octobre 2011
WordPress - Robots.txt	Crawl et indexation Google, sitemaps	16 Juin 2010
Search Console Prestashop \| Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise...	Crawl et indexation Google, sitemaps	21 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt	Crawl et indexation Google, sitemaps	31 Octobre 2019