Echec exploration des pages robot.txt/ google merchant center

Discussion dans 'e-commerce' créé par Lou5900, 27 Juillet 2016.

  1. Lou5900
    Lou5900 WRInaute discret
    Inscrit:
    25 Septembre 2014
    Messages:
    78
    J'aime reçus:
    0
    Bonjour à tous,

    N'ayant pas trouvé de réponse, je me tourne vers vous.
    Voilà, je souhaite lancer une campagne google shopping et pour cela j'ai inséré mon flux produits dans le Google Merchant Center.
    Seulement voilà, je rencontre les problèmes suivants : "Échec de l'exploration des pages produit par un user-agent mobile en raison de restrictions du fichier robots.txt" et "Impossible d'explorer les pages produit en raison de restrictions du fichier robots.txt".

    Est ce que quelqu'un a déjà rencontré ce type de problème?

    En allant sur mon GSC et sur mon fichier robot.txt, j'ai pourtant bien indiqué User-agent: *


    Louis
     
  2. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 072
    J'aime reçus:
    295
    1) C'est robots.txt
    2) Avec le contenu complet du robots.txt ou l'URL ça aiderais
     
  3. Lou5900
    Lou5900 WRInaute discret
    Inscrit:
    25 Septembre 2014
    Messages:
    78
    J'aime reçus:
    0
    D'accord, le voici alors :

    # robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
    # http://www.prestashop.com - http://www.prestashop.com/forums
    # This file is to prevent the crawling and indexing of certain parts
    # of your site by web crawlers and spiders run by sites like Yahoo!
    # and Google. By telling these "robots" where not to go on your site,
    # you save bandwidth and server resources.
    # For more information about the robots.txt standard, see:
    # http://www.robotstxt.org/wc/robots.html
    User-agent: *
    # Private pages
    Disallow: /*orderby=
    Disallow: /*orderway=
    Disallow: /*tag=
    Disallow: /*id_currency=
    Disallow: /*search_query=
    Disallow: /*back=
    Disallow: /*n=
    Disallow: /*controller=addresses
    Disallow: /*controller=address
    Disallow: /*controller=authentication
    Disallow: /*controller=cart
    Disallow: /*controller=discount
    Disallow: /*controller=footer
    Disallow: /*controller=get-file
    Disallow: /*controller=header
    Disallow: /*controller=history
    Disallow: /*controller=identity
    Disallow: /*controller=images.inc
    Disallow: /*controller=init
    Disallow: /*controller=my-account
    Disallow: /*controller=order
    Disallow: /*controller=order-opc
    Disallow: /*controller=order-slip
    Disallow: /*controller=order-detail
    Disallow: /*controller=order-follow
    Disallow: /*controller=order-return
    Disallow: /*controller=order-confirmation
    Disallow: /*controller=pagination
    Disallow: /*controller=password
    Disallow: /*controller=pdf-invoice
    Disallow: /*controller=pdf-order-return
    Disallow: /*controller=pdf-order-slip
    Disallow: /*controller=product-sort
    Disallow: /*controller=search
    Disallow: /*controller=statistics
    Disallow: /*controller=attachment
    Disallow: /*controller=guest-tracking
    # Directories
    Disallow: */classes/
    Disallow: */config/
    Disallow: */download/
    Disallow: */mails/
    Disallow: */modules/
    Disallow: */translations/
    Disallow: */tools/
    # Files
    Disallow: /mot-de-passe-oublie
    Disallow: /adresse
    Disallow: /adresses
    Disallow: /authentification
    Disallow: /panier
    Disallow: /bons-de-reduction
    Disallow: /historique-des-commandes
    Disallow: /identite
    Disallow: /mon-compte
    Disallow: /details-de-la-commande
    Disallow: /avoirs
    Disallow: /commande
    Disallow: /recherche
    Disallow: /commande-rapide
    Disallow: /suivi-commande-invite

    Merci,

    Louis
     
  4. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 885
    J'aime reçus:
    74
    Et quelle est l'url de ton flux ?
     
  5. Lou5900
    Lou5900 WRInaute discret
    Inscrit:
    25 Septembre 2014
    Messages:
    78
    J'aime reçus:
    0
  6. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 885
    J'aime reçus:
    74
    Tu es sûr des url que tu as intégrés dans le flux ? Normalement, tu dois avoir des exemples d'url qui posent soucis.
     
  7. Lou5900
    Lou5900 WRInaute discret
    Inscrit:
    25 Septembre 2014
    Messages:
    78
    J'aime reçus:
    0
    Mes URL viennent de mon export CSV fait à partir de ma bdd Prestashop. Je vais vérifier :)
     
  8. Lou5900
    Lou5900 WRInaute discret
    Inscrit:
    25 Septembre 2014
    Messages:
    78
    J'aime reçus:
    0
    J'ai vérifié les liens qui sont bons. Google m'indiqué par téléphone que les robots arrivaient à lire mes pages certains jours et pas d'autres et que le problème pourrait venir du serveur. Je ne vois vraiment pas d'où le problème peut venir.
     
  9. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 072
    J'aime reçus:
    295
    Il faut regarder dans les logs serveur s'il n'y a pas des erreurs 500 ou autre, monitorer le serveur pour voir s'il est pas down de temps en temps, vérifier en changeant le UA, etc etc...
     
  10. Lou5900
    Lou5900 WRInaute discret
    Inscrit:
    25 Septembre 2014
    Messages:
    78
    J'aime reçus:
    0
    Je vais regarder ça. Merci en tout cas!
     
  11. abujuway
    abujuway Nouveau WRInaute
    Inscrit:
    6 Octobre 2020
    Messages:
    1
    J'aime reçus:
    0
    Bonjour,

    j'ai le même soucis et je m'arrache les cheveux, d'ailleurs je n'en ai plus !

    j'ai une boutique prestashop en plusieurs langues, plusieurs devises.... (je pense le soucis viens de là)
    j'ai un plugin qui ma créé mon flux, je l'ai ensuite importé mais j'ai 2 erreurs :

    Mobile page not crawlable due to robots.txt
    Desktop page not crawlable due to robots.txt

    j'ai 12 produits en tout et 6 produits pour chaque erreur

    exemple du premier

    https://creme-tahara.fr/fr/13-brume-sans-alcool-tahara-200ml.html?SubmitCurrency=1&id_currency=1

    exemple pour la 2 eme erreur

    https://creme-tahara.fr/fr/13-brume-sans-alcool-tahara-200ml.html?SubmitCurrency=1&id_currency=1

    la même chose

    de plus ces URLS me posent problème car provoque des doublons dans sitechecker... j'avais 78 je suis passé à 23 (sur base des hreflang)

    je ne sais pas trop quoi faire j'avais presque envie de supprimer toutes les langues et laisser francais pour régler (peut être) mais du coup mes URL ne seraient plus bonne et c'est pas forcément la bonne solution

    une idée ? mon robot.txt ps je n'ai pas a ajouté explicitement les bot google ? * est suffisant non ?

    Code:
    # robots.txt automatically generated by PrestaShop e-commerce open-source solution
    # http://www.prestashop.com - http://www.prestashop.com/forums
    # This file is to prevent the crawling and indexing of certain parts
    # of your site by web crawlers and spiders run by sites like Yahoo!
    # and Google. By telling these "robots" where not to go on your site,
    # you save bandwidth and server resources.
    # For more information about the robots.txt standard, see:
    # http://www.robotstxt.org/robotstxt.html
    User-agent: *
    # Allow Directives
    Allow: */modules/*.css
    Allow: */modules/*.js
    Allow: */modules/*.png
    Allow: */modules/*.jpg
    Allow: /js/jquery/*
    
    #c'est moi qui est ajouté les 3 lignes pour mes tests
    Allow: *.js
    Allow: *.css
    Allow: https://creme-tahara.fr/fr/10-creme-tahara-100ml.html?SubmitCurrency=1&id_currency=1
    # Private pages
    Disallow: /*?order=
    Disallow: /*?tag=
    Disallow: /*?id_currency=
    Disallow: /*?search_query=
    Disallow: /*?back=
    Disallow: /*?n=
    Disallow: /*&order=
    Disallow: /*&tag=
    Disallow: /*&id_currency=
    Disallow: /*&search_query=
    Disallow: /*&back=
    Disallow: /*&n=
    Disallow: /*controller=addresses
    Disallow: /*controller=address
    Disallow: /*controller=authentication
    Disallow: /*controller=cart
    Disallow: /*controller=discount
    Disallow: /*controller=footer
    Disallow: /*controller=get-file
    Disallow: /*controller=header
    Disallow: /*controller=history
    Disallow: /*controller=identity
    Disallow: /*controller=images.inc
    Disallow: /*controller=init
    Disallow: /*controller=my-account
    Disallow: /*controller=order
    Disallow: /*controller=order-slip
    Disallow: /*controller=order-detail
    Disallow: /*controller=order-follow
    Disallow: /*controller=order-return
    Disallow: /*controller=order-confirmation
    Disallow: /*controller=pagination
    Disallow: /*controller=password
    Disallow: /*controller=pdf-invoice
    Disallow: /*controller=pdf-order-return
    Disallow: /*controller=pdf-order-slip
    Disallow: /*controller=product-sort
    Disallow: /*controller=search
    Disallow: /*controller=statistics
    Disallow: /*controller=attachment
    Disallow: /*controller=guest-tracking
    # Directories for creme-tahara.fr
    Disallow: /app/
    Disallow: /cache/
    Disallow: /classes/
    Disallow: /config/
    Disallow: /controllers/
    Disallow: /download/
    Disallow: /js/
    Disallow: /localization/
    Disallow: /log/
    Disallow: /mails/
    Disallow: /modules/
    Disallow: /override/
    Disallow: /pdf/
    Disallow: /src/
    Disallow: /tools/
    Disallow: /translations/
    Disallow: /upload/
    Disallow: /var/
    Disallow: /vendor/
    Disallow: /webservice/
    Disallow: /fr/app/
    Disallow: /fr/cache/
    Disallow: /fr/classes/
    Disallow: /fr/config/
    Disallow: /fr/controllers/
    Disallow: /fr/download/
    Disallow: /fr/js/
    Disallow: /fr/localization/
    Disallow: /fr/log/
    Disallow: /fr/mails/
    Disallow: /fr/modules/
    Disallow: /fr/override/
    Disallow: /fr/pdf/
    Disallow: /fr/src/
    Disallow: /fr/tools/
    Disallow: /fr/translations/
    Disallow: /fr/upload/
    Disallow: /fr/var/
    Disallow: /fr/vendor/
    Disallow: /fr/webservice/
    Disallow: /en/app/
    Disallow: /en/cache/
    Disallow: /en/classes/
    Disallow: /en/config/
    Disallow: /en/controllers/
    Disallow: /en/download/
    Disallow: /en/js/
    Disallow: /en/localization/
    Disallow: /en/log/
    Disallow: /en/mails/
    Disallow: /en/modules/
    Disallow: /en/override/
    Disallow: /en/pdf/
    Disallow: /en/src/
    Disallow: /en/tools/
    Disallow: /en/translations/
    Disallow: /en/upload/
    Disallow: /en/var/
    Disallow: /en/vendor/
    Disallow: /en/webservice/
    # Files
    Disallow: /*fr/adresse
    Disallow: /*fr/adresses
    Disallow: /*fr/connexion
    Disallow: /*fr/panier
    Disallow: /*fr/reduction
    Disallow: /*fr/suivi-commande-invite
    Disallow: /*fr/historique-commandes
    Disallow: /*fr/identite
    Disallow: /*fr/mon-compte
    Disallow: /*fr/commande
    Disallow: /*fr/confirmation-commande
    Disallow: /*fr/suivi-commande
    Disallow: /*fr/avoirs
    Disallow: /*fr/recuperation-mot-de-passe
    Disallow: /*fr/recherche
    Disallow: /*en/address
    Disallow: /*en/addresses
    Disallow: /*en/login
    Disallow: /*en/cart
    Disallow: /*en/discount
    Disallow: /*en/guest-tracking
    Disallow: /*en/order-history
    Disallow: /*en/identity
    Disallow: /*en/my-account
    Disallow: /*en/order
    Disallow: /*en/order-confirmation
    Disallow: /*en/order-follow
    Disallow: /*en/credit-slip
    Disallow: /*en/password-recovery
    Disallow: /*en/search
    Disallow: /*cdn-cgi/l/email-protection
    Disallow: /*fr/news.html?author=creme-tahara.fr+
    Disallow: /*fr/news.html?author=1
    Disallow: /*fr/blog.html?author=creme-tahara.fr+
    Disallow: /*fr/blog.html?author=1
    Disallow: /*fr/blog.html
    Disallow: /*fr/news/cosmetique/.html
    Disallow: /*en/news/
    Disallow: /*fr/blog/
    Disallow: /*fr/connexion?back=https://creme-tahara.fr/fr/module/psaffiliate/myaccount
    # Sitemap
    Sitemap: https://creme-tahara.fr/1_index_sitemap.xml
     
Chargement...
Similar Threads - Echec exploration robot Forum Date
Redirection www => sans www ET vers https ; échec URL Rewriting et .htaccess 12 Janvier 2017
Echec de référencement sur un mot-clé non concurrentiel Problèmes de référencement spécifiques à vos sites 4 Novembre 2014
Google news - Presse allemande: échec et mat des Allemands Google : l'entreprise, les sites web, les services 31 Juillet 2013
Insertion d'un bouton google+1, échec... Développement d'un site Web ou d'une appli mobile 28 Mai 2013
Analyser comme Googlebot echec Crawl et indexation Google, sitemaps 23 Juin 2012
Programmation d'un site de jeu d'échecs en direct ! Développement d'un site Web ou d'une appli mobile 14 Mars 2012
Echec de googlebot et probleme de titre Problèmes de référencement spécifiques à vos sites 2 Mars 2011
Echec navrant du référencement après plusieurs tentatives d'amélioration Débuter en référencement 19 Janvier 2011
Solution : mettre en echec les attaques "Eval base64_decode" Administration d'un site Web 2 Février 2010
Search Console Erreurs d'exploration rapport Couverture Crawl et indexation Google, sitemaps 15 Avril 2020