Quel robots.txt pour un wordpress "jeune" ?

toutatix · 24 Juin 2016

Bonjour,

J'ai cherché sur GG des conseils par ci par là mais assez contradictoires (ex: JS à exclure ou pas...)

D'où ma question quel serait le contenu d'un robots TXT pour un site naissant 15 pages et 3 articles Qu'est ce qui serait important d'exclure ?

Merci pour votre retour.

spout · 24 Juin 2016

Meilleur robots.txt:
Code:
 

ABCWEB · 24 Juin 2016

Moi j'exclu l'interface d'administration

toutatix · 24 Juin 2016

Je vois que votre conseil est de laisser les choses se faire naturellement mais...

Wordpress ne crée pas naturellement de "doublons" ? par "category" / "author" / "Year" etc ?

Marie-Aude · 24 Juin 2016

Cela se gère avec du noindex, follow, pas dans le robots.txt

toutatix · 24 Juin 2016

merci

Similar Threads - robots wordpress jeune	Forum	Date
meta robots Wordpress	Demandes d'avis et de conseils sur vos sites	26 Octobre 2018
WOOCOMMERCE wordpress ROBOTS.TXT, que bloquez vous ?	e-commerce	22 Juin 2018
Mon fichier robots.txt wordpress	Développement d'un site Web ou d'une appli mobile	24 Octobre 2016
Robots spameurs commentaires wordpress bonne nouvelle !	Débuter en référencement	10 Février 2015
Site wordpress url bloquée par robots.txt	Problèmes de référencement spécifiques à vos sites	17 Juin 2013
Site wordpress url bloquée par robots.txt	Problèmes de référencement spécifiques à vos sites	24 Novembre 2012
Robots.txt, wordpress et gwt	Crawl et indexation Google, sitemaps	1 Octobre 2011
WordPress - Robots.txt	Crawl et indexation Google, sitemaps	16 Juin 2010
lien variable à bloquer sur robots	Développement d'un site Web ou d'une appli mobile	3 Mai 2020
Urls orphelines crawlées par Google + Robots.txt ?	Crawl et indexation Google, sitemaps	3 Avril 2020