Cette syntaxe de robots.txt est-elle correcte ?

Savoy · 8 Avril 2013

Bonjour,

J'ai plusieurs erreurs qui sortent dans les GWT et qui concernent les dossier d'un forum, à savoir des url de type :

forums/shared_files/uploaded/1194/
forums/shared_files/uploaded/1340/
forums/shared_files/uploaded/1029/
forums/shared_files/uploaded/992/
forums/shared_files/uploaded/869/
forums/shared_files/uploaded/909/
etc...

J'ai interdit l'accès au robot à ces dossiers avec la syantaxe suivante :

Disallow: /forums/shared_files/uploaded/

Mais ces pages sont toujours présentes dans mes GWT...
Pouvez vous me confirmer que cette syntaxe est correcte (avec User-agent: *)?

Merci

WebRankInfo · 8 Avril 2013

interdire le crawl n'interdit pas l'indexation !
donc si les documents étaient déjà indexés, interdire leur accès ne fait qu'empêcher leur mise à jour

par contre dans ton cas, tout étant dans un même répertoire, tu peux aller faire une demande de désindexation via GWT

Savoy · 9 Avril 2013

Merci pour cette réponse, la syntaxe est-elle néanmoins correcte ?

Par ailleurs pour supprimer le rep complet dois je indiquer dans l'url à supprimer :

forums/shared_files/uploaded/
ou plutot
www.monsite.com/forums/shared_files/uploaded/

WebRankInfo · 9 Avril 2013

oui la syntaxe est bonne.
il faut indiquer l'URL complète

Savoy · 10 Avril 2013

Ok merci et si je veux supprimer un grand nombre d'url de type (Il s'agit d'articles d'une boutique) :

/vente/articleRef123456.html
/vente/articleRef12313.html
/vente/articleRef45648.html
/vente/articleRef45949.html

Si dans l'outil de suppression d'url je renseigne
-http://www.example.com/vente/
va-t-il prendre en compte toutes ces url ou pas ?

UsagiYojimbo · 10 Avril 2013

Oui, parce que c'est un dossier. Mais il faut qu'il soit bloqué via le robots.txt au préalable.

Similar Threads - syntaxe robots correcte	Forum	Date
Robots.txt et syntaxe de Disallow	Crawl et indexation Google, sitemaps	2 Juin 2017
Quelle syntaxe pour les mots-clés ?	Débuter en référencement	Lundi à 09:31
Search Console Site FR en attente de Multilangue + syntaxe Robot.txt	Référencement international (langues, pays)	5 Novembre 2019
syntaxe, pattern redirect	Crawl et indexation Google, sitemaps	1 Octobre 2019
syntaxe commande dans htaccess	Crawl et indexation Google, sitemaps	8 Juillet 2019
Syntaxe des mots clefs pour le référencement	Rédaction web et référencement	20 Juin 2019
Syntaxe .htaccess pour migrer des URL	URL Rewriting et .htaccess	7 Janvier 2018
La syntaxe SQL permet-elle plusieurs mots-clefs dans une (sous-)requête identique ?	Développement d'un site Web ou d'une appli mobile	17 Août 2017
Je ne comprends pas cette syntaxe	Développement d'un site Web ou d'une appli mobile	10 Avril 2017
Erreur au niveau des URL dans GWT - Question sur les redirections et sur la syntaxe	Problèmes de référencement spécifiques à vos sites	15 Mai 2014