Site non responsive, ressources bloquées robots.txt

Tonfairepart · 15 Avril 2019

Bonjour, à tous, j'ai des ressources bloquer et du coup Google m'indique que mon site n'est pas responsive.

Voici la page des erreurs : https://search.google.com/test/mobile-friendly?hl=fr&id=D-qkIEjcLdqGw5TWw0StmQ&view=fetch-info

J'ai ajouter en rouge le Js et le Css, pouvez-vous me dire si mon txt est ok ? Que dois-je ajouter ?

User-agent: *
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
Allow: */modules/*.png
Allow: */modules/*.jpg
Allow: */*.css
Allow: */*.js
# Private pages
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&orderby=
Disallow: /*&orderway=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */cache/
Disallow: */classes/
Disallow: */config/
Disallow: */controllers/
Disallow: */css/
Disallow: */download/
Disallow: */js/
Disallow: */localization/
Disallow: */log/
Disallow: */mails/
Disallow: */modules/
Disallow: */override/
Disallow: */pdf/
Disallow: */src/
Disallow: */tools/
Disallow: */translations/
Disallow: */upload/
Disallow: */vendor/
Disallow: */web/
Disallow: */webservice/
# Files
Disallow: /recuperation-mot-de-passe
Disallow: /adresse
Disallow: /adresses
Disallow: /connexion
Disallow: /panier
Disallow: /reduction
Disallow: /historique-commandes
Disallow: /identite
Disallow: /mon-compte
Disallow: /suivi-commande
Disallow: /avoirs
Disallow: /commande
Disallow: /recherche
Disallow: /suivi-commande-invite
Disallow: /confirmation-commande

spout · 15 Avril 2019

Bloqué par :

Code:

Disallow: */css/
Disallow: */js/

Tonfairepart · 15 Avril 2019

Bonjour Spout, je dois donc retirer le

Disallow: */css/
Disallow: */js/

et ajouter

Allow: */*.css
Allow: */*.js

J'ai tous bon ?

WebRankInfo · 15 Avril 2019

non, juste retirer ces lignes

Tonfairepart · 15 Avril 2019

Ok merci beaucoup. Par contre dernière question, comment modifier mon txt je suis sur Prestashop dans mes tpl ?

spout · 15 Avril 2019

De la même façon que tu as fait pour ajouter les lignes en rouge.

Tonfairepart · 15 Avril 2019

J'ai modifier le txt, je suis passer de 54 erreurs à seulement 5 erreurs, par contre je bloque encore sur les 5 autres, si vous avez une idée. https://search.google.com/test/mobile-friendly?hl=fr&id=fto45AItFiNUjs6yylw5Qg&view=fetch-info

User-agent: *
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
Allow: */modules/*.png
Allow: */modules/*.jpg
Allow: */*.css
Allow: */*.js
Allow: */themes/*.js
Allow: */*.module
# Private pages
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&orderby=
Disallow: /*&orderway=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */controllers/
Disallow: */download/
Disallow: */localization/
Disallow: */log/
Disallow: */mails/
Disallow: */override/
Disallow: */pdf/
Disallow: */src/
Disallow: */tools/
Disallow: */translations/
Disallow: */upload/
Disallow: */vendor/
Disallow: */web/
Disallow: */webservice/
# Files
Disallow: /recuperation-mot-de-passe
Disallow: /adresse
Disallow: /adresses
Disallow: /connexion
Disallow: /panier
Disallow: /reduction
Disallow: /historique-commandes
Disallow: /identite
Disallow: /mon-compte
Disallow: /suivi-commande
Disallow: /avoirs
Disallow: /commande
Disallow: /recherche
Disallow: /suivi-commande-invite
Disallow: /confirmation-commande

WebRankInfo · 15 Avril 2019

mais c'est quoi tous ces Allow ? c'est pas dans la norme ça... à la fin on finit avec des fichiers 3x plus compliqués que nécessaire

Tonfairepart · 15 Avril 2019

Que dois-je faire exactement et surtout qu'est que je doit supprimer et qu'est ce que je doit ajouter ? Je suis un débutant et complètement perdu vraiment désolé

spout · 16 Avril 2019

robots.txt optimal :

Code:

KOogar · 16 Avril 2019

spout a dit:
robots.txt optimal :

Code:

Ici on parle d'un CMS qui dezip + de 10 000 fichiers et + de 1 000 répertoires

Tonfairepart a dit:
Que dois-je faire exactement et surtout qu'est que je doit supprimer et qu'est ce que je doit ajouter ? Je suis un débutant et complètement perdu vraiment désolé

Les lignes qui te génère des erreurs ne sont pas dans le robot.txt de la branche 1.7 de Presta. Ce problème a visiblement été corrigé depuis.

rollback · 16 Avril 2019

on est pas en 2019 ? ca existe encore robots.txt ?

WebRankInfo · 16 Avril 2019

je ne comprends pas ces remarques qui laissent entendre qu'utiliser un robots.txt c'est la loose.
enfin bon, on est bien d'accord, on ne devrait pas avoir autant de bazar que dans cet exemple

rollback · 16 Avril 2019

encore un point de vue différent (mais c'est plaisant) . Donc le fichier robots.txt reste un dilemne.
Effectivement celui ci dessus est une dérive complète d'une bonne volonté initiale de bien faire et bien être exhaustif. Revenons a robots.txt Les bots des crawlers n'en tiennent pas compte. Peut être que google ou bing (bing vraiment pas sur, il es assez gourmand quand il passe), diront qu'ils en tiennent compte.

Tous les robots passent ou ils veulent et pire, en renseignant des données dans robots.txt on informe les robots malveillants des endroits ou ils doivent passer.

En 2019, donc, depuis bien longtemps, il est de notoriété publique que le fichier robots.txt est juste un fichier de bonne conduite.

On l'utilise pour une seule chose : faire un faux fichier ou on écrit un lien disallow vers un pot de miel pour envoyer les bots (99.99%) qui au lieu de respecter le fichier robots.txt s'en servent pour détecter les endroits interdits.

Sur le plan éducation : il faut faire très attention, ne pas recommander l'utilisation de robots;txt ou les personnes pensent que ca bloque les crawlers...

Donc, en 2019, le plus simple, ne pas utiliser ce vieux truc qui n'aide a rien en SEO, et on ne l'utilise plsu depuis très longtemps. Enfin c'est un point de vue

WebRankInfo · 16 Avril 2019

quand tu parles des robots/crawlers, tu parles de Googlebot et Bingbot, bref des robots des moteurs connus, ou d'autres ?
car de mon côté Googlebot par exemple ne crawle pas les dizaines de milliers d'URL /forum/membres/ qui reçoivent pourtant des liens follow. N'est-ce pas car il respecte le robots.txt ?
bien entendu ce n'est qu'un exemple, on peut trouver des contre exemples

rollback · 17 Avril 2019

dans le wouaib il n'y a pas que google et bing...

WebRankInfo · 18 Avril 2019

certes, mais est-ce une bonne idée ici de laisser entendre que Google et Bing ne respectent rien du robots.txt ? ce n'est pas mon avis