WOOCOMMERCE wordpress ROBOTS.TXT, que bloquez vous ?

Discussion dans 'e-commerce' créé par makeonlineshop, 22 Juin 2018.

  1. makeonlineshop
    makeonlineshop WRInaute discret
    Inscrit:
    12 Octobre 2011
    Messages:
    199
    J'aime reçus:
    21
    hello,

    Pouvez vous me dire ce qui se trouve dans votre wordpress/woocommerce robots.txt et ce que vous bloquez ?

    Google indexe toutes les pages de categories / catalogue qui ont un ? dans le lien, donc peut etre que c'est une bonne idée de bloquer toutes les pages qui ont un ? dans le lien ?

    est-ce correct ?

    Disallow: /*?


    Merci pour toutes vos astuces en faveur du SEO et pour éviter que des pages inutiles se trouvent dans google (en défaveur de pages plus utiles).
     
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 874
    J'aime reçus:
    71
    Juste la base :

    Et je n'ai aucune url à paramètre qui s'indexe.. Toutes mes url de catégories sont réécrites. S'agissant d'un catalogue relativement restreint et bien segmenté, je n'ai pas de filtres ni de systèmes de tri, ce qui peut aussi expliquer que tout ce qui s'indexe soit très clean.

    A noter que je ne me baserais pas sur le robots.txt en correctif. J'activerais déjà des canonical ou noindex au bon endroit (un plugin comme Yoast ou AIOSEO fait bien le job à ce niveau, par exemple).
     
  3. Johanwri
    Johanwri WRInaute occasionnel
    Inscrit:
    13 Mars 2018
    Messages:
    274
    J'aime reçus:
    58
    Voici mon fichier robots type que je charge a l'installation d'un WP
    Les ? que tu mentionne sont souvent les filtres et tri de Woocommerce.

    Code:
    # Google Image
    User-agent: Googlebot-Image
    Disallow:
    Allow: /*
    
    # global
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/cache/
    Disallow: /trackback/
    Disallow: /feed/
    Disallow: /comments/
    Disallow : */?orderby=price
    Disallow : */?orderby=rating
    Disallow : */?orderby=date
    Disallow : */?filter
    Allow: /wp-content/uploads/
    
    Sitemap: https://www.example.com/sitemap.xml
     
  4. makeonlineshop
    makeonlineshop WRInaute discret
    Inscrit:
    12 Octobre 2011
    Messages:
    199
    J'aime reçus:
    21
    Code:
    Disallow: /*?
    n'est pas suffisant a la place de ?
    Code:
    Disallow : */?orderby=price
    Disallow : */?orderby=rating
    Disallow : */?orderby=date
    Disallow : */?filter
    C'est la même chose non ?

    merci.
     
  5. Johanwri
    Johanwri WRInaute occasionnel
    Inscrit:
    13 Mars 2018
    Messages:
    274
    J'aime reçus:
    58
    Non ce n'est pas la meme chose !

    * remplace une chaine de caracteres
    */? => Tu elimine toutes les urls qui contiennent /? et n'importe quelle chaine de caracteres avant /? soit ton nom de domaine ou nomdedomaine/cequetuveux/
    /*? => tu elimine toutes les urls qui contiennent / et n'importe quelle chaine de caracteres entre / et ?

    Mon fichier robots tient compte de la construction des pages Woocommerce, tu es donc sur de sortir toutes les url generes par les tri et filtres.
    Tu peux t'aider de Google Search Console pour voir les pages qui posent probleme ou tu tapent site:tonnomdedomaine.com dans Google pour voir les pages indexees ; tu verras celle que tu veux sortir.

    Il se peut que ton theme generent d'autres urls qui ont besoin d'etre sorties
    Par exemple je suis intervenu sur un site qui utilise la template Enfold, j'ai rajoute
    Code:
    Disallow : */?name
    Commence deja par mettre le fichier robots simple et si tu as besoin de plus regarde bien la structure de l'url en faisant attention de ne pas sortir des pages necessaires.

    Si tu as un doute, tu peux utiliser Gogole Search Console pour tester ton fichier robots (Exploration > Outil de test du fichier robots.txt)
     
    makeonlineshop apprécie ceci.
  6. Johanwri
    Johanwri WRInaute occasionnel
    Inscrit:
    13 Mars 2018
    Messages:
    274
    J'aime reçus:
    58
    Je viens de comprendre ce que tu voulais dire .... Si Disallow: */? ne suffit pas a englober toutes les url contenant /? et n'importe quelle chaine avant incluant orderby=price, orderby=rating etc ....

    Oui !
    En incluant Disallow: */? tu englobe toutes les urls et donc pas besoin de detailler.
    Je prefere detailler afin de ne pas sortir des urls qui pourrait s'averer necessaires ; meme si peu de chance qu'une url avec ? soit necessaire a etre indexe, c'est un choix par securite.
     
    makeonlineshop apprécie ceci.
  7. makeonlineshop
    makeonlineshop WRInaute discret
    Inscrit:
    12 Octobre 2011
    Messages:
    199
    J'aime reçus:
    21
    Merci encore, mais je ne comprends pas bien pour quoi cela ne suffit pas ?
    Disallow: /*?
    /*? => tu élimine toutes les urls qui contiennent / et n'importe quelle chaine de caracteres entre / et ?

    Je ne veux plus indexer aucune url qui a un ?
    Ce n'est pas correct ? Quelles urls avec un ? sont utiles a indexer ?

    J'ai posté ce message avant de voir ta réponse. Encore merci, je comprends mieux maintenant.
     
  8. Johanwri
    Johanwri WRInaute occasionnel
    Inscrit:
    13 Mars 2018
    Messages:
    274
    J'aime reçus:
    58
    Tu confonds
    Disallow: /*?
    et
    Disallow: */?

    Le wildcard n'est pas place au meme endroit
     
    makeonlineshop apprécie ceci.
  9. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 875
    J'aime reçus:
    272
    précisions :
    • le standard ne prévoit pas les * et $ dans les directives, mais Google les gère. Autant le savoir pour les autres moteurs
    • une directive est censée commencer par / qui représente la racine du site.
    pour ceux qui ne sont pas à l'aise, j'ai fait une vidéo tuto sur le test du fichier robots.txt
     
    makeonlineshop apprécie ceci.
  10. makeonlineshop
    makeonlineshop WRInaute discret
    Inscrit:
    12 Octobre 2011
    Messages:
    199
    J'aime reçus:
    21


    une directive est censée commencer par / qui représente la racine du site ?

    Donc ceci serait faux ?

    Disallow: */?
     
  11. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 875
    J'aime reçus:
    272
    La valeur du chemin d'accès doit commencer par "/" pour désigner la racine.

    source : Google
     
  12. Johanwri
    Johanwri WRInaute occasionnel
    Inscrit:
    13 Mars 2018
    Messages:
    274
    J'aime reçus:
    58
    Non ce n'est pas faux !
    Je l'utilise sur tout mes sites cela fonctionne !

    Essaye avec Outil de test du fichier robots.txt de Google Search
    Copie ecran test : https://prnt.sc/jyh55o
     
    makeonlineshop apprécie ceci.
  13. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 875
    J'aime reçus:
    272
    pour être + précis, ça fonctionne avec Google ;-)
     
  14. makeonlineshop
    makeonlineshop WRInaute discret
    Inscrit:
    12 Octobre 2011
    Messages:
    199
    J'aime reçus:
    21
    En fait je voudrais arrêter de réfléchir car même moi je me trouve un peu con, donc je vais mettre ton robots.txt
    Code:
    # Google Image
    User-agent: Googlebot-Image
    Disallow:
    Allow: /*
    
    # global
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/cache/
    Disallow: /trackback/
    Disallow: /feed/
    Disallow: /comments/
    Disallow : */?orderby=price
    Disallow : */?orderby=rating
    Disallow : */?orderby=date
    Disallow : */?filter
    Allow: /wp-content/uploads/
    Par contre même quand je ne eux plus réfléchir on me met des bâtons dans les roues :)
    https://yoast.com/wordpress-robots-txt-example/

    traduction :

    Alors, que devrait être votre fichier robots.txt WordPress? La nôtre est très propre maintenant. Nous ne bloquons plus rien!

    Google récupère tout et rend vos pages complètement. Cela signifie que lorsque vous refusez à Google l'accès à vos fichiers CSS ou JavaScript, cela ne vous plaît pas du tout.

    Les anciennes meilleures pratiques d'avoir un fichier robots.txt qui bloque l'accès à votre répertoire wp-includes et à votre répertoire plugins ne sont plus valides. C'est pourquoi, dans WordPress 4.0, j'ai ouvert le problème et j'ai écrit le correctif pour supprimer wp-includes /.* du fichier par défaut robots.txt de WordPress.

    Beaucoup de thèmes utilisent également des requêtes JavaScript asynchrones, appelées AJAX, pour ajouter du contenu à la page. Par défaut, WordPress les bloquait. J'ai donc créé le ticket pour WordPress pour permettre à Google d'explorer l'URL admin-ajax.php dans wp-admin. Cela a été corrigé dans WordPress 4.4.

    Nous ne bloquons pas notre répertoire / wp-content / plugins / car les plugins peuvent générer du code JavaScript ou CSS dont Google a besoin pour afficher la page. Nous ne bloquons pas non plus notre répertoire / wp-includes /, car les JavaScripts par défaut fournis avec WordPress, que de nombreux thèmes utilisent, proviennent de ces répertoires.

    Nous ne bloquons pas non plus notre dossier / wp-admin /. La raison est simple: si vous le bloquez, mais que vous le liez quelque part par hasard, les gens pourront toujours faire une simple requête [inurl: wp-admin] dans Google et trouver votre site.

    Nous avons toujours pensé que la connexion à votre sitemap XML à partir de votre fichier robots.txt est un non-sens.
     
  15. Johanwri
    Johanwri WRInaute occasionnel
    Inscrit:
    13 Mars 2018
    Messages:
    274
    J'aime reçus:
    58
    Sur la base de toutes les remarques je viens de faire des tests et adapte mon fichier robot. Je l'ai fait il y a plusieures annees et il necessitait probablement une mise a jour.

    Modification
    1 - Ok pour ne pas bloquer /wp-includes/
    2 - Ok pour ne pas bloquer /wp-content/plugins/
    3 - Modifciation de */?orderby=price par /*?orderby=price (et autre similaire) ; cela respecte donc la remarque de Webrankinfo. Ca fonctione de la meme maniere et bloque les urls nomdedomaine.com/?orderby=price ou nomdedomaine.com/category/?orderby=price

    Par contre je ne suis pas du tout d'accord avec la remarque de Yoast sur wp-admin. Il ne faut pas faire de lien vers le backoffice et celui ci ne doit pas etre accessible et indexer. Donc meme si par hasard il y a un lien vers l'admin qui a ete fait pour permettre a des utilisateurs de se connecter il faut corriger et mettre en place une connection sur le front.

    Concernant le lien vers le fichier sitemap bien sur qu'il faut le declarer dans Google Search Console. Je le laisse dans le fichier robot car je n'ai pas encore d'argument pour me convaincre de le retirer.

    Je vais faire la modification sur uniquement un seul de mes sites et vais voir comment cela reagit avec 1 et 2, si je constate des fichiers indexes que je ne souhaite pas je posterai de nouveau sur ce fil.

    Tu peux donc charger ce fichier robots

    Code:
    # Google Image
    User-agent: Googlebot-Image
    Disallow:
    Allow: /*
    
    # global
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /wp-content/cache/
    Disallow: /trackback/
    Disallow: /feed/
    Disallow: /comments/
    Disallow : /*?orderby=price
    Disallow : /*?orderby=rating
    Disallow : /*?orderby=date
    Disallow : /*?filter
    Allow: /wp-content/uploads/
    
    Sitemap: https://www.nomdedomaine.com/sitemap.xml
     
    makeonlineshop apprécie ceci.
  16. makeonlineshop
    makeonlineshop WRInaute discret
    Inscrit:
    12 Octobre 2011
    Messages:
    199
    J'aime reçus:
    21
    Merci beaucoup.
     
  17. Johanwri
    Johanwri WRInaute occasionnel
    Inscrit:
    13 Mars 2018
    Messages:
    274
    J'aime reçus:
    58
    Ajout de 2 lignes (tri woocommerce par prix decroissant et popularite)
    Disallow : /*?orderby=price-desc
    Disallow : /*?orderby=popularity

    Cette fois c'est la bonne version

    Code:
    # Google Image
    User-agent: Googlebot-Image
    Disallow:
    Allow: /*
    
    # global
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /wp-content/cache/
    Disallow: /trackback/
    Disallow: /feed/
    Disallow: /comments/
    Disallow : /*?orderby=price
    Disallow : /*?orderby=price-desc
    Disallow : /*?orderby=rating
    Disallow : /*?orderby=date
    Disallow : /*?orderby=popularity
    Disallow : /*?filter
    Allow: /wp-content/uploads/
    
    Sitemap: https://www.nomdedomaine.com/sitemap.xml
     
    makeonlineshop apprécie ceci.
  18. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 874
    J'aime reçus:
    71
    Disallow: /*?orderby=

    Suffit pour bloquer toutes les url avec le paramètre, quelle que soit sa valeur.

    Et ta directive
    Allow: /wp-content/uploads/

    ne sert à rien ici.
     
    makeonlineshop apprécie ceci.
  19. Johanwri
    Johanwri WRInaute occasionnel
    Inscrit:
    13 Mars 2018
    Messages:
    274
    J'aime reçus:
    58
    Effectivement
     
  20. makeonlineshop
    makeonlineshop WRInaute discret
    Inscrit:
    12 Octobre 2011
    Messages:
    199
    J'aime reçus:
    21
    Effectivement je n'ai jamais compris pourquoi des gens utilises ALLOW alors que par défaut c'est tout ALLOW.

    Quand c'est un soit disant expert SEO comme certains que j'ai rencontré, je comprends qu'il rajoute des lignes inutiles pour faire bien et faire croire qu'il ne sert pas à rien ,mais sinon je vois pas :)
     
  21. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 874
    J'aime reçus:
    71
    Ca aurait eu du sens si plus haut il y avait eu un

    disallow /wp-content/

    allow permettant dans ce cas de faire un override de la directive principale
     
    makeonlineshop apprécie ceci.
Chargement...
Similar Threads - WOOCOMMERCE wordpress ROBOTS Forum Date
WORDPRESS Woocommerce, vos astuces pour réduire CPU usage et serveur stress ? e-commerce 22 Juin 2018
Wordpress/woocommerce : référencement anarchique par google Problèmes de référencement spécifiques à vos sites 27 Novembre 2016
Ajouter un onglet dans woocommerce wordpress e-commerce 30 Décembre 2014
[Construction Structure] CMS Wordpress + WooCommerce e-commerce 20 Septembre 2013
Prestashop + blog Wordpress OU Woocommerce ? e-commerce 13 Août 2013
Comment mettre en place le paiement sur Woocommerce ? e-commerce 4 Juin 2019
Woocommerce : d'où vient le client ? Google Analytics 4 Avril 2019
Woocommerce ou Prestashop : Que choisir pour une boutique ? e-commerce 27 Mars 2019
WordPress Cacher tout woocommerce ? e-commerce 11 Janvier 2019
Pour un meilleur référencement, vaut il mieux choisir woocommerce ou prestashop ? e-commerce 30 Mai 2018
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice