Site non responsive, ressources bloquées robots.txt

Nouveau WRInaute
Bonjour, à tous, j'ai des ressources bloquer et du coup Google m'indique que mon site n'est pas responsive.

Voici la page des erreurs : https://search.google.com/test/mobile-friendly?hl=fr&id=D-qkIEjcLdqGw5TWw0StmQ&view=fetch-info

J'ai ajouter en rouge le Js et le Css, pouvez-vous me dire si mon txt est ok ? Que dois-je ajouter ?

User-agent: *
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
Allow: */modules/*.png
Allow: */modules/*.jpg
Allow: */*.css
Allow: */*.js

# Private pages
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&orderby=
Disallow: /*&orderway=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */cache/
Disallow: */classes/
Disallow: */config/
Disallow: */controllers/
Disallow: */css/
Disallow: */download/
Disallow: */js/
Disallow: */localization/
Disallow: */log/
Disallow: */mails/
Disallow: */modules/
Disallow: */override/
Disallow: */pdf/
Disallow: */src/
Disallow: */tools/
Disallow: */translations/
Disallow: */upload/
Disallow: */vendor/
Disallow: */web/
Disallow: */webservice/
# Files
Disallow: /recuperation-mot-de-passe
Disallow: /adresse
Disallow: /adresses
Disallow: /connexion
Disallow: /panier
Disallow: /reduction
Disallow: /historique-commandes
Disallow: /identite
Disallow: /mon-compte
Disallow: /suivi-commande
Disallow: /avoirs
Disallow: /commande
Disallow: /recherche
Disallow: /suivi-commande-invite
Disallow: /confirmation-commande
 
Nouveau WRInaute
Bonjour Spout, je dois donc retirer le

Disallow: */css/
Disallow: */js/


et ajouter

Allow: */*.css
Allow: */*.js


J'ai tous bon ?
 
Nouveau WRInaute
J'ai modifier le txt, je suis passer de 54 erreurs à seulement 5 erreurs, par contre je bloque encore sur les 5 autres, si vous avez une idée. https://search.google.com/test/mobile-friendly?hl=fr&id=fto45AItFiNUjs6yylw5Qg&view=fetch-info


User-agent: *
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
Allow: */modules/*.png
Allow: */modules/*.jpg
Allow: */*.css
Allow: */*.js
Allow: */themes/*.js
Allow: */*.module

# Private pages
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&orderby=
Disallow: /*&orderway=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */controllers/
Disallow: */download/
Disallow: */localization/
Disallow: */log/
Disallow: */mails/
Disallow: */override/
Disallow: */pdf/
Disallow: */src/
Disallow: */tools/
Disallow: */translations/
Disallow: */upload/
Disallow: */vendor/
Disallow: */web/
Disallow: */webservice/
# Files
Disallow: /recuperation-mot-de-passe
Disallow: /adresse
Disallow: /adresses
Disallow: /connexion
Disallow: /panier
Disallow: /reduction
Disallow: /historique-commandes
Disallow: /identite
Disallow: /mon-compte
Disallow: /suivi-commande
Disallow: /avoirs
Disallow: /commande
Disallow: /recherche
Disallow: /suivi-commande-invite
Disallow: /confirmation-commande
 
Olivier Duffez (admin)
Membre du personnel
mais c'est quoi tous ces Allow ? c'est pas dans la norme ça... à la fin on finit avec des fichiers 3x plus compliqués que nécessaire
 
Nouveau WRInaute
Que dois-je faire exactement et surtout qu'est que je doit supprimer et qu'est ce que je doit ajouter ? Je suis un débutant et complètement perdu vraiment désolé
 
WRInaute accro
robots.txt optimal :
Code:

Ici on parle d'un CMS qui dezip + de 10 000 fichiers et + de 1 000 répertoires

Que dois-je faire exactement et surtout qu'est que je doit supprimer et qu'est ce que je doit ajouter ? Je suis un débutant et complètement perdu vraiment désolé

Les lignes qui te génère des erreurs ne sont pas dans le robot.txt de la branche 1.7 de Presta. Ce problème a visiblement été corrigé depuis.
 
Olivier Duffez (admin)
Membre du personnel
je ne comprends pas ces remarques qui laissent entendre qu'utiliser un robots.txt c'est la loose.
enfin bon, on est bien d'accord, on ne devrait pas avoir autant de bazar que dans cet exemple
 
WRInaute occasionnel
encore un point de vue différent (mais c'est plaisant) . Donc le fichier robots.txt reste un dilemne.
Effectivement celui ci dessus est une dérive complète d'une bonne volonté initiale de bien faire et bien être exhaustif. Revenons a robots.txt Les bots des crawlers n'en tiennent pas compte. Peut être que google ou bing (bing vraiment pas sur, il es assez gourmand quand il passe), diront qu'ils en tiennent compte.

Tous les robots passent ou ils veulent et pire, en renseignant des données dans robots.txt on informe les robots malveillants des endroits ou ils doivent passer.

En 2019, donc, depuis bien longtemps, il est de notoriété publique que le fichier robots.txt est juste un fichier de bonne conduite.

On l'utilise pour une seule chose : faire un faux fichier ou on écrit un lien disallow vers un pot de miel pour envoyer les bots (99.99%) qui au lieu de respecter le fichier robots.txt s'en servent pour détecter les endroits interdits.

Sur le plan éducation : il faut faire très attention, ne pas recommander l'utilisation de robots;txt ou les personnes pensent que ca bloque les crawlers...

Donc, en 2019, le plus simple, ne pas utiliser ce vieux truc qui n'aide a rien en SEO, et on ne l'utilise plsu depuis très longtemps. Enfin c'est un point de vue
 
Olivier Duffez (admin)
Membre du personnel
quand tu parles des robots/crawlers, tu parles de Googlebot et Bingbot, bref des robots des moteurs connus, ou d'autres ?
car de mon côté Googlebot par exemple ne crawle pas les dizaines de milliers d'URL /forum/membres/ qui reçoivent pourtant des liens follow. N'est-ce pas car il respecte le robots.txt ?
bien entendu ce n'est qu'un exemple, on peut trouver des contre exemples
 
Olivier Duffez (admin)
Membre du personnel
certes, mais est-ce une bonne idée ici de laisser entendre que Google et Bing ne respectent rien du robots.txt ? ce n'est pas mon avis
 
Discussions similaires
Haut