Site non responsive, ressources bloquées robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Tonfairepart, 15 Avril 2019.

  1. Tonfairepart
    Tonfairepart Nouveau WRInaute
    Inscrit:
    19 Juillet 2018
    Messages:
    11
    J'aime reçus:
    0
    Bonjour, à tous, j'ai des ressources bloquer et du coup Google m'indique que mon site n'est pas responsive.

    Voici la page des erreurs : https://search.google.com/test/mobile-friendly?hl=fr&id=D-qkIEjcLdqGw5TWw0StmQ&view=fetch-info

    J'ai ajouter en rouge le Js et le Css, pouvez-vous me dire si mon txt est ok ? Que dois-je ajouter ?

    User-agent: *
    # Allow Directives
    Allow: */modules/*.css
    Allow: */modules/*.js
    Allow: */modules/*.png
    Allow: */modules/*.jpg
    Allow: */*.css
    Allow: */*.js

    # Private pages
    Disallow: /*?orderby=
    Disallow: /*?orderway=
    Disallow: /*?tag=
    Disallow: /*?id_currency=
    Disallow: /*?search_query=
    Disallow: /*?back=
    Disallow: /*?n=
    Disallow: /*&orderby=
    Disallow: /*&orderway=
    Disallow: /*&tag=
    Disallow: /*&id_currency=
    Disallow: /*&search_query=
    Disallow: /*&back=
    Disallow: /*&n=
    Disallow: /*controller=addresses
    Disallow: /*controller=address
    Disallow: /*controller=authentication
    Disallow: /*controller=cart
    Disallow: /*controller=discount
    Disallow: /*controller=footer
    Disallow: /*controller=get-file
    Disallow: /*controller=header
    Disallow: /*controller=history
    Disallow: /*controller=identity
    Disallow: /*controller=images.inc
    Disallow: /*controller=init
    Disallow: /*controller=my-account
    Disallow: /*controller=order
    Disallow: /*controller=order-slip
    Disallow: /*controller=order-detail
    Disallow: /*controller=order-follow
    Disallow: /*controller=order-return
    Disallow: /*controller=order-confirmation
    Disallow: /*controller=pagination
    Disallow: /*controller=password
    Disallow: /*controller=pdf-invoice
    Disallow: /*controller=pdf-order-return
    Disallow: /*controller=pdf-order-slip
    Disallow: /*controller=product-sort
    Disallow: /*controller=search
    Disallow: /*controller=statistics
    Disallow: /*controller=attachment
    Disallow: /*controller=guest-tracking
    # Directories
    Disallow: */cache/
    Disallow: */classes/
    Disallow: */config/
    Disallow: */controllers/
    Disallow: */css/
    Disallow: */download/
    Disallow: */js/
    Disallow: */localization/
    Disallow: */log/
    Disallow: */mails/
    Disallow: */modules/
    Disallow: */override/
    Disallow: */pdf/
    Disallow: */src/
    Disallow: */tools/
    Disallow: */translations/
    Disallow: */upload/
    Disallow: */vendor/
    Disallow: */web/
    Disallow: */webservice/
    # Files
    Disallow: /recuperation-mot-de-passe
    Disallow: /adresse
    Disallow: /adresses
    Disallow: /connexion
    Disallow: /panier
    Disallow: /reduction
    Disallow: /historique-commandes
    Disallow: /identite
    Disallow: /mon-compte
    Disallow: /suivi-commande
    Disallow: /avoirs
    Disallow: /commande
    Disallow: /recherche
    Disallow: /suivi-commande-invite
    Disallow: /confirmation-commande
     
  2. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 730
    J'aime reçus:
    232
    Bloqué par :
    Code:
    Disallow: */css/
    Disallow: */js/
     
  3. Tonfairepart
    Tonfairepart Nouveau WRInaute
    Inscrit:
    19 Juillet 2018
    Messages:
    11
    J'aime reçus:
    0
    Bonjour Spout, je dois donc retirer le

    Disallow: */css/
    Disallow: */js/


    et ajouter

    Allow: */*.css
    Allow: */*.js


    J'ai tous bon ?
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 813
    J'aime reçus:
    260
    non, juste retirer ces lignes
     
  5. Tonfairepart
    Tonfairepart Nouveau WRInaute
    Inscrit:
    19 Juillet 2018
    Messages:
    11
    J'aime reçus:
    0
    Ok merci beaucoup. Par contre dernière question, comment modifier mon txt je suis sur Prestashop dans mes tpl ?
     
  6. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 730
    J'aime reçus:
    232
    De la même façon que tu as fait pour ajouter les lignes en rouge.
     
  7. Tonfairepart
    Tonfairepart Nouveau WRInaute
    Inscrit:
    19 Juillet 2018
    Messages:
    11
    J'aime reçus:
    0
    J'ai modifier le txt, je suis passer de 54 erreurs à seulement 5 erreurs, par contre je bloque encore sur les 5 autres, si vous avez une idée. https://search.google.com/test/mobile-friendly?hl=fr&id=fto45AItFiNUjs6yylw5Qg&view=fetch-info


    User-agent: *
    # Allow Directives
    Allow: */modules/*.css
    Allow: */modules/*.js
    Allow: */modules/*.png
    Allow: */modules/*.jpg
    Allow: */*.css
    Allow: */*.js
    Allow: */themes/*.js
    Allow: */*.module

    # Private pages
    Disallow: /*?orderby=
    Disallow: /*?orderway=
    Disallow: /*?tag=
    Disallow: /*?id_currency=
    Disallow: /*?search_query=
    Disallow: /*?back=
    Disallow: /*?n=
    Disallow: /*&orderby=
    Disallow: /*&orderway=
    Disallow: /*&tag=
    Disallow: /*&id_currency=
    Disallow: /*&search_query=
    Disallow: /*&back=
    Disallow: /*&n=
    Disallow: /*controller=addresses
    Disallow: /*controller=address
    Disallow: /*controller=authentication
    Disallow: /*controller=cart
    Disallow: /*controller=discount
    Disallow: /*controller=footer
    Disallow: /*controller=get-file
    Disallow: /*controller=header
    Disallow: /*controller=history
    Disallow: /*controller=identity
    Disallow: /*controller=images.inc
    Disallow: /*controller=init
    Disallow: /*controller=my-account
    Disallow: /*controller=order
    Disallow: /*controller=order-slip
    Disallow: /*controller=order-detail
    Disallow: /*controller=order-follow
    Disallow: /*controller=order-return
    Disallow: /*controller=order-confirmation
    Disallow: /*controller=pagination
    Disallow: /*controller=password
    Disallow: /*controller=pdf-invoice
    Disallow: /*controller=pdf-order-return
    Disallow: /*controller=pdf-order-slip
    Disallow: /*controller=product-sort
    Disallow: /*controller=search
    Disallow: /*controller=statistics
    Disallow: /*controller=attachment
    Disallow: /*controller=guest-tracking
    # Directories
    Disallow: */classes/
    Disallow: */config/
    Disallow: */controllers/
    Disallow: */download/
    Disallow: */localization/
    Disallow: */log/
    Disallow: */mails/
    Disallow: */override/
    Disallow: */pdf/
    Disallow: */src/
    Disallow: */tools/
    Disallow: */translations/
    Disallow: */upload/
    Disallow: */vendor/
    Disallow: */web/
    Disallow: */webservice/
    # Files
    Disallow: /recuperation-mot-de-passe
    Disallow: /adresse
    Disallow: /adresses
    Disallow: /connexion
    Disallow: /panier
    Disallow: /reduction
    Disallow: /historique-commandes
    Disallow: /identite
    Disallow: /mon-compte
    Disallow: /suivi-commande
    Disallow: /avoirs
    Disallow: /commande
    Disallow: /recherche
    Disallow: /suivi-commande-invite
    Disallow: /confirmation-commande
     
  8. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 813
    J'aime reçus:
    260
    mais c'est quoi tous ces Allow ? c'est pas dans la norme ça... à la fin on finit avec des fichiers 3x plus compliqués que nécessaire
     
  9. Tonfairepart
    Tonfairepart Nouveau WRInaute
    Inscrit:
    19 Juillet 2018
    Messages:
    11
    J'aime reçus:
    0
    Que dois-je faire exactement et surtout qu'est que je doit supprimer et qu'est ce que je doit ajouter ? Je suis un débutant et complètement perdu vraiment désolé
     
  10. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 730
    J'aime reçus:
    232
    robots.txt optimal :
    Code:
    
    
     
  11. KOogar
    KOogar WRInaute accro
    Inscrit:
    16 Novembre 2004
    Messages:
    4 293
    J'aime reçus:
    18
    Ici on parle d'un CMS qui dezip + de 10 000 fichiers et + de 1 000 répertoires

    Les lignes qui te génère des erreurs ne sont pas dans le robot.txt de la branche 1.7 de Presta. Ce problème a visiblement été corrigé depuis.
     
  12. rollback
    rollback WRInaute occasionnel
    Inscrit:
    5 Novembre 2018
    Messages:
    413
    J'aime reçus:
    42
    on est pas en 2019 ? ca existe encore robots.txt ?
     
  13. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 813
    J'aime reçus:
    260
    je ne comprends pas ces remarques qui laissent entendre qu'utiliser un robots.txt c'est la loose.
    enfin bon, on est bien d'accord, on ne devrait pas avoir autant de bazar que dans cet exemple
     
  14. rollback
    rollback WRInaute occasionnel
    Inscrit:
    5 Novembre 2018
    Messages:
    413
    J'aime reçus:
    42
    encore un point de vue différent (mais c'est plaisant) . Donc le fichier robots.txt reste un dilemne.
    Effectivement celui ci dessus est une dérive complète d'une bonne volonté initiale de bien faire et bien être exhaustif. Revenons a robots.txt Les bots des crawlers n'en tiennent pas compte. Peut être que google ou bing (bing vraiment pas sur, il es assez gourmand quand il passe), diront qu'ils en tiennent compte.

    Tous les robots passent ou ils veulent et pire, en renseignant des données dans robots.txt on informe les robots malveillants des endroits ou ils doivent passer.

    En 2019, donc, depuis bien longtemps, il est de notoriété publique que le fichier robots.txt est juste un fichier de bonne conduite.

    On l'utilise pour une seule chose : faire un faux fichier ou on écrit un lien disallow vers un pot de miel pour envoyer les bots (99.99%) qui au lieu de respecter le fichier robots.txt s'en servent pour détecter les endroits interdits.

    Sur le plan éducation : il faut faire très attention, ne pas recommander l'utilisation de robots;txt ou les personnes pensent que ca bloque les crawlers...

    Donc, en 2019, le plus simple, ne pas utiliser ce vieux truc qui n'aide a rien en SEO, et on ne l'utilise plsu depuis très longtemps. Enfin c'est un point de vue
     
  15. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 813
    J'aime reçus:
    260
    quand tu parles des robots/crawlers, tu parles de Googlebot et Bingbot, bref des robots des moteurs connus, ou d'autres ?
    car de mon côté Googlebot par exemple ne crawle pas les dizaines de milliers d'URL /forum/membres/ qui reçoivent pourtant des liens follow. N'est-ce pas car il respecte le robots.txt ?
    bien entendu ce n'est qu'un exemple, on peut trouver des contre exemples
     
    UsagiYojimbo apprécie ceci.
  16. rollback
    rollback WRInaute occasionnel
    Inscrit:
    5 Novembre 2018
    Messages:
    413
    J'aime reçus:
    42
    dans le wouaib il n'y a pas que google et bing...
     
  17. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 813
    J'aime reçus:
    260
    certes, mais est-ce une bonne idée ici de laisser entendre que Google et Bing ne respectent rien du robots.txt ? ce n'est pas mon avis
     
Chargement...
Similar Threads - responsive ressources bloquées Forum Date
Responsive ou pas ? Problèmes de référencement spécifiques à vos sites 10 Juin 2019
3 backlinks et un site non-responsive Débuter en référencement 7 Juin 2019
Passage de version mobile à responsive Problèmes de référencement spécifiques à vos sites 6 Février 2019
AMP / Responsive design Crawl et indexation Google, sitemaps 19 Septembre 2018
Amp ou site responsive ? Administration d'un site Web 2 Août 2018
Responsive avec outils google mais pas avec réduction de fenêtre Demandes d'avis et de conseils sur vos sites 23 Juillet 2018
Tableau html responsive Développement d'un site Web ou d'une appli mobile 6 Novembre 2017
Création d'une version mobile supplémentaire plutôt qu'une version responsive unique Référencement Google 26 Mai 2017
Demande de conseil pour rendre mon site responsive Demandes d'avis et de conseils sur vos sites 17 Avril 2017
Question référencement site classique et responsive Débuter en référencement 29 Décembre 2016
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice