WOOCOMMERCE wordpress ROBOTS.TXT, que bloquez vous ?

Juste la base :

Et je n'ai aucune url à paramètre qui s'indexe.. Toutes mes url de catégories sont réécrites. S'agissant d'un catalogue relativement restreint et bien segmenté, je n'ai pas de filtres ni de systèmes de tri, ce qui peut aussi expliquer que tout ce qui s'indexe soit très clean.

A noter que je ne me baserais pas sur le robots.txt en correctif. J'activerais déjà des canonical ou noindex au bon endroit (un plugin comme Yoast ou AIOSEO fait bien le job à ce niveau, par exemple).

 

Voici mon fichier robots type que je charge a l'installation d'un WP
Les ? que tu mentionne sont souvent les filtres et tri de Woocommerce.

Code:

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow : */?orderby=price
Disallow : */?orderby=rating
Disallow : */?orderby=date
Disallow : */?filter
Allow: /wp-content/uploads/

Sitemap: https://www.example.com/sitemap.xml

 

Non ce n'est pas la meme chose !

* remplace une chaine de caracteres
*/? => Tu elimine toutes les urls qui contiennent /? et n'importe quelle chaine de caracteres avant /? soit ton nom de domaine ou nomdedomaine/cequetuveux/
/*? => tu elimine toutes les urls qui contiennent / et n'importe quelle chaine de caracteres entre / et ?

Mon fichier robots tient compte de la construction des pages Woocommerce, tu es donc sur de sortir toutes les url generes par les tri et filtres.
Tu peux t'aider de Google Search Console pour voir les pages qui posent probleme ou tu tapent site:tonnomdedomaine.com dans Google pour voir les pages indexees ; tu verras celle que tu veux sortir.

Il se peut que ton theme generent d'autres urls qui ont besoin d'etre sorties
Par exemple je suis intervenu sur un site qui utilise la template Enfold, j'ai rajoute

Code:

Disallow : */?name

Commence deja par mettre le fichier robots simple et si tu as besoin de plus regarde bien la structure de l'url en faisant attention de ne pas sortir des pages necessaires.

Si tu as un doute, tu peux utiliser Gogole Search Console pour tester ton fichier robots (Exploration > Outil de test du fichier robots.txt)

 

Je viens de comprendre ce que tu voulais dire .... Si Disallow: */? ne suffit pas a englober toutes les url contenant /? et n'importe quelle chaine avant incluant orderby=price, orderby=rating etc ....

Oui !
En incluant Disallow: */? tu englobe toutes les urls et donc pas besoin de detailler.
Je prefere detailler afin de ne pas sortir des urls qui pourrait s'averer necessaires ; meme si peu de chance qu'une url avec ? soit necessaire a etre indexe, c'est un choix par securite.

 

Tu confonds
Disallow: /*?
et
Disallow: */?

Le wildcard n'est pas place au meme endroit

 

Non ce n'est pas faux !
Je l'utilise sur tout mes sites cela fonctionne !

Essaye avec Outil de test du fichier robots.txt de Google Search
Copie ecran test : https://prnt.sc/jyh55o

 

Sur la base de toutes les remarques je viens de faire des tests et adapte mon fichier robot. Je l'ai fait il y a plusieures annees et il necessitait probablement une mise a jour.

Modification
1 - Ok pour ne pas bloquer /wp-includes/
2 - Ok pour ne pas bloquer /wp-content/plugins/
3 - Modifciation de */?orderby=price par /*?orderby=price (et autre similaire) ; cela respecte donc la remarque de Webrankinfo. Ca fonctione de la meme maniere et bloque les urls nomdedomaine.com/?orderby=price ou nomdedomaine.com/category/?orderby=price

Par contre je ne suis pas du tout d'accord avec la remarque de Yoast sur wp-admin. Il ne faut pas faire de lien vers le backoffice et celui ci ne doit pas etre accessible et indexer. Donc meme si par hasard il y a un lien vers l'admin qui a ete fait pour permettre a des utilisateurs de se connecter il faut corriger et mettre en place une connection sur le front.

Concernant le lien vers le fichier sitemap bien sur qu'il faut le declarer dans Google Search Console. Je le laisse dans le fichier robot car je n'ai pas encore d'argument pour me convaincre de le retirer.

Je vais faire la modification sur uniquement un seul de mes sites et vais voir comment cela reagit avec 1 et 2, si je constate des fichiers indexes que je ne souhaite pas je posterai de nouveau sur ce fil.

Tu peux donc charger ce fichier robots

Code:

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/cache/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow : /*?orderby=price
Disallow : /*?orderby=rating
Disallow : /*?orderby=date
Disallow : /*?filter
Allow: /wp-content/uploads/

Sitemap: https://www.nomdedomaine.com/sitemap.xml

 

Ajout de 2 lignes (tri woocommerce par prix decroissant et popularite)
Disallow : /*?orderby=price-desc
Disallow : /*?orderby=popularity

Cette fois c'est la bonne version

Code:

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/cache/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow : /*?orderby=price
Disallow : /*?orderby=price-desc
Disallow : /*?orderby=rating
Disallow : /*?orderby=date
Disallow : /*?orderby=popularity
Disallow : /*?filter
Allow: /wp-content/uploads/

Sitemap: https://www.nomdedomaine.com/sitemap.xml

 

Disallow: /*?orderby=

Suffit pour bloquer toutes les url avec le paramètre, quelle que soit sa valeur.

Et ta directive
Allow: /wp-content/uploads/

ne sert à rien ici.

 

Effectivement

 

Ca aurait eu du sens si plus haut il y avait eu un

disallow /wp-content/

allow permettant dans ce cas de faire un override de la directive principale