Echec exploration des pages robot.txt/ google merchant center

WRInaute discret
Bonjour à tous,

N'ayant pas trouvé de réponse, je me tourne vers vous.
Voilà, je souhaite lancer une campagne google shopping et pour cela j'ai inséré mon flux produits dans le Google Merchant Center.
Seulement voilà, je rencontre les problèmes suivants : "Échec de l'exploration des pages produit par un user-agent mobile en raison de restrictions du fichier robots.txt" et "Impossible d'explorer les pages produit en raison de restrictions du fichier robots.txt".

Est ce que quelqu'un a déjà rencontré ce type de problème?

En allant sur mon GSC et sur mon fichier robot.txt, j'ai pourtant bien indiqué User-agent: *


Louis
 
WRInaute accro
Lou5900 a dit:
En allant sur mon GSC et sur mon fichier robot.txt, j'ai pourtant bien indiqué User-agent: *
1) C'est robots.txt
2) Avec le contenu complet du robots.txt ou l'URL ça aiderais
 
WRInaute discret
D'accord, le voici alors :

# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/wc/robots.html
User-agent: *
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: */classes/
Disallow: */config/
Disallow: */download/
Disallow: */mails/
Disallow: */modules/
Disallow: */translations/
Disallow: */tools/
# Files
Disallow: /mot-de-passe-oublie
Disallow: /adresse
Disallow: /adresses
Disallow: /authentification
Disallow: /panier
Disallow: /bons-de-reduction
Disallow: /historique-des-commandes
Disallow: /identite
Disallow: /mon-compte
Disallow: /details-de-la-commande
Disallow: /avoirs
Disallow: /commande
Disallow: /recherche
Disallow: /commande-rapide
Disallow: /suivi-commande-invite

Merci,

Louis
 
WRInaute discret
J'ai vérifié les liens qui sont bons. Google m'indiqué par téléphone que les robots arrivaient à lire mes pages certains jours et pas d'autres et que le problème pourrait venir du serveur. Je ne vois vraiment pas d'où le problème peut venir.
 
WRInaute accro
Il faut regarder dans les logs serveur s'il n'y a pas des erreurs 500 ou autre, monitorer le serveur pour voir s'il est pas down de temps en temps, vérifier en changeant le UA, etc etc...
 
Nouveau WRInaute
Bonjour,

j'ai le même soucis et je m'arrache les cheveux, d'ailleurs je n'en ai plus !

j'ai une boutique prestashop en plusieurs langues, plusieurs devises.... (je pense le soucis viens de là)
j'ai un plugin qui ma créé mon flux, je l'ai ensuite importé mais j'ai 2 erreurs :

Mobile page not crawlable due to robots.txt
Desktop page not crawlable due to robots.txt

j'ai 12 produits en tout et 6 produits pour chaque erreur

exemple du premier

https://creme-tahara.fr/fr/13-brume-sans-alcool-tahara-200ml.html?SubmitCurrency=1&id_currency=1

exemple pour la 2 eme erreur

https://creme-tahara.fr/fr/13-brume-sans-alcool-tahara-200ml.html?SubmitCurrency=1&id_currency=1

la même chose

de plus ces URLS me posent problème car provoque des doublons dans sitechecker... j'avais 78 je suis passé à 23 (sur base des hreflang)

je ne sais pas trop quoi faire j'avais presque envie de supprimer toutes les langues et laisser francais pour régler (peut être) mais du coup mes URL ne seraient plus bonne et c'est pas forcément la bonne solution

une idée ? mon robot.txt ps je n'ai pas a ajouté explicitement les bot google ? * est suffisant non ?

Code:
# robots.txt automatically generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/robotstxt.html
User-agent: *
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
Allow: */modules/*.png
Allow: */modules/*.jpg
Allow: /js/jquery/*

#c'est moi qui est ajouté les 3 lignes pour mes tests
Allow: *.js
Allow: *.css
Allow: https://creme-tahara.fr/fr/10-creme-tahara-100ml.html?SubmitCurrency=1&id_currency=1
# Private pages
Disallow: /*?order=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&order=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories for creme-tahara.fr
Disallow: /app/
Disallow: /cache/
Disallow: /classes/
Disallow: /config/
Disallow: /controllers/
Disallow: /download/
Disallow: /js/
Disallow: /localization/
Disallow: /log/
Disallow: /mails/
Disallow: /modules/
Disallow: /override/
Disallow: /pdf/
Disallow: /src/
Disallow: /tools/
Disallow: /translations/
Disallow: /upload/
Disallow: /var/
Disallow: /vendor/
Disallow: /webservice/
Disallow: /fr/app/
Disallow: /fr/cache/
Disallow: /fr/classes/
Disallow: /fr/config/
Disallow: /fr/controllers/
Disallow: /fr/download/
Disallow: /fr/js/
Disallow: /fr/localization/
Disallow: /fr/log/
Disallow: /fr/mails/
Disallow: /fr/modules/
Disallow: /fr/override/
Disallow: /fr/pdf/
Disallow: /fr/src/
Disallow: /fr/tools/
Disallow: /fr/translations/
Disallow: /fr/upload/
Disallow: /fr/var/
Disallow: /fr/vendor/
Disallow: /fr/webservice/
Disallow: /en/app/
Disallow: /en/cache/
Disallow: /en/classes/
Disallow: /en/config/
Disallow: /en/controllers/
Disallow: /en/download/
Disallow: /en/js/
Disallow: /en/localization/
Disallow: /en/log/
Disallow: /en/mails/
Disallow: /en/modules/
Disallow: /en/override/
Disallow: /en/pdf/
Disallow: /en/src/
Disallow: /en/tools/
Disallow: /en/translations/
Disallow: /en/upload/
Disallow: /en/var/
Disallow: /en/vendor/
Disallow: /en/webservice/
# Files
Disallow: /*fr/adresse
Disallow: /*fr/adresses
Disallow: /*fr/connexion
Disallow: /*fr/panier
Disallow: /*fr/reduction
Disallow: /*fr/suivi-commande-invite
Disallow: /*fr/historique-commandes
Disallow: /*fr/identite
Disallow: /*fr/mon-compte
Disallow: /*fr/commande
Disallow: /*fr/confirmation-commande
Disallow: /*fr/suivi-commande
Disallow: /*fr/avoirs
Disallow: /*fr/recuperation-mot-de-passe
Disallow: /*fr/recherche
Disallow: /*en/address
Disallow: /*en/addresses
Disallow: /*en/login
Disallow: /*en/cart
Disallow: /*en/discount
Disallow: /*en/guest-tracking
Disallow: /*en/order-history
Disallow: /*en/identity
Disallow: /*en/my-account
Disallow: /*en/order
Disallow: /*en/order-confirmation
Disallow: /*en/order-follow
Disallow: /*en/credit-slip
Disallow: /*en/password-recovery
Disallow: /*en/search
Disallow: /*cdn-cgi/l/email-protection
Disallow: /*fr/news.html?author=creme-tahara.fr+
Disallow: /*fr/news.html?author=1
Disallow: /*fr/blog.html?author=creme-tahara.fr+
Disallow: /*fr/blog.html?author=1
Disallow: /*fr/blog.html
Disallow: /*fr/news/cosmetique/.html
Disallow: /*en/news/
Disallow: /*fr/blog/
Disallow: /*fr/connexion?back=https://creme-tahara.fr/fr/module/psaffiliate/myaccount
# Sitemap
Sitemap: https://creme-tahara.fr/1_index_sitemap.xml
 
Nouveau WRInaute
Bonsoir, sur presta 1.7 j'utilise le plugin Google Merchant Center (Google-Shopping) de Business Tech, hors je n'arrive pas à supprimer du flux produit certains produits. Connaissez-vous le plugin ? Si oui, j'aimerais bien connaitre la manipulation à faire s'il vous plaît.
 
Dernière édition par un modérateur:
Discussions similaires
Haut