Echec exploration des pages robot.txt/ google merchant center

1) C'est robots.txt
2) Avec le contenu complet du robots.txt ou l'URL ça aiderais

 

Et quelle est l'url de ton flux ?

 

Tu es sûr des url que tu as intégrés dans le flux ? Normalement, tu dois avoir des exemples d'url qui posent soucis.

 

Il faut regarder dans les logs serveur s'il n'y a pas des erreurs 500 ou autre, monitorer le serveur pour voir s'il est pas down de temps en temps, vérifier en changeant le UA, etc etc...

 

Bonjour,

j'ai le même soucis et je m'arrache les cheveux, d'ailleurs je n'en ai plus !

j'ai une boutique prestashop en plusieurs langues, plusieurs devises.... (je pense le soucis viens de là)
j'ai un plugin qui ma créé mon flux, je l'ai ensuite importé mais j'ai 2 erreurs :

Mobile page not crawlable due to robots.txt
Desktop page not crawlable due to robots.txt

j'ai 12 produits en tout et 6 produits pour chaque erreur

exemple du premier

https://creme-tahara.fr/fr/13-brume-sans-alcool-tahara-200ml.html?SubmitCurrency=1&id_currency=1

exemple pour la 2 eme erreur

https://creme-tahara.fr/fr/13-brume-sans-alcool-tahara-200ml.html?SubmitCurrency=1&id_currency=1

la même chose

de plus ces URLS me posent problème car provoque des doublons dans sitechecker... j'avais 78 je suis passé à 23 (sur base des hreflang)

je ne sais pas trop quoi faire j'avais presque envie de supprimer toutes les langues et laisser francais pour régler (peut être) mais du coup mes URL ne seraient plus bonne et c'est pas forcément la bonne solution

une idée ? mon robot.txt ps je n'ai pas a ajouté explicitement les bot google ? * est suffisant non ?

Code:

# robots.txt automatically generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/robotstxt.html
User-agent: *
# Allow Directives
Allow: */modules/*.css
Allow: */modules/*.js
Allow: */modules/*.png
Allow: */modules/*.jpg
Allow: /js/jquery/*

#c'est moi qui est ajouté les 3 lignes pour mes tests
Allow: *.js
Allow: *.css
Allow: https://creme-tahara.fr/fr/10-creme-tahara-100ml.html?SubmitCurrency=1&id_currency=1
# Private pages
Disallow: /*?order=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*?back=
Disallow: /*?n=
Disallow: /*&order=
Disallow: /*&tag=
Disallow: /*&id_currency=
Disallow: /*&search_query=
Disallow: /*&back=
Disallow: /*&n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories for creme-tahara.fr
Disallow: /app/
Disallow: /cache/
Disallow: /classes/
Disallow: /config/
Disallow: /controllers/
Disallow: /download/
Disallow: /js/
Disallow: /localization/
Disallow: /log/
Disallow: /mails/
Disallow: /modules/
Disallow: /override/
Disallow: /pdf/
Disallow: /src/
Disallow: /tools/
Disallow: /translations/
Disallow: /upload/
Disallow: /var/
Disallow: /vendor/
Disallow: /webservice/
Disallow: /fr/app/
Disallow: /fr/cache/
Disallow: /fr/classes/
Disallow: /fr/config/
Disallow: /fr/controllers/
Disallow: /fr/download/
Disallow: /fr/js/
Disallow: /fr/localization/
Disallow: /fr/log/
Disallow: /fr/mails/
Disallow: /fr/modules/
Disallow: /fr/override/
Disallow: /fr/pdf/
Disallow: /fr/src/
Disallow: /fr/tools/
Disallow: /fr/translations/
Disallow: /fr/upload/
Disallow: /fr/var/
Disallow: /fr/vendor/
Disallow: /fr/webservice/
Disallow: /en/app/
Disallow: /en/cache/
Disallow: /en/classes/
Disallow: /en/config/
Disallow: /en/controllers/
Disallow: /en/download/
Disallow: /en/js/
Disallow: /en/localization/
Disallow: /en/log/
Disallow: /en/mails/
Disallow: /en/modules/
Disallow: /en/override/
Disallow: /en/pdf/
Disallow: /en/src/
Disallow: /en/tools/
Disallow: /en/translations/
Disallow: /en/upload/
Disallow: /en/var/
Disallow: /en/vendor/
Disallow: /en/webservice/
# Files
Disallow: /*fr/adresse
Disallow: /*fr/adresses
Disallow: /*fr/connexion
Disallow: /*fr/panier
Disallow: /*fr/reduction
Disallow: /*fr/suivi-commande-invite
Disallow: /*fr/historique-commandes
Disallow: /*fr/identite
Disallow: /*fr/mon-compte
Disallow: /*fr/commande
Disallow: /*fr/confirmation-commande
Disallow: /*fr/suivi-commande
Disallow: /*fr/avoirs
Disallow: /*fr/recuperation-mot-de-passe
Disallow: /*fr/recherche
Disallow: /*en/address
Disallow: /*en/addresses
Disallow: /*en/login
Disallow: /*en/cart
Disallow: /*en/discount
Disallow: /*en/guest-tracking
Disallow: /*en/order-history
Disallow: /*en/identity
Disallow: /*en/my-account
Disallow: /*en/order
Disallow: /*en/order-confirmation
Disallow: /*en/order-follow
Disallow: /*en/credit-slip
Disallow: /*en/password-recovery
Disallow: /*en/search
Disallow: /*cdn-cgi/l/email-protection
Disallow: /*fr/news.html?author=creme-tahara.fr+
Disallow: /*fr/news.html?author=1
Disallow: /*fr/blog.html?author=creme-tahara.fr+
Disallow: /*fr/blog.html?author=1
Disallow: /*fr/blog.html
Disallow: /*fr/news/cosmetique/.html
Disallow: /*en/news/
Disallow: /*fr/blog/
Disallow: /*fr/connexion?back=https://creme-tahara.fr/fr/module/psaffiliate/myaccount
# Sitemap
Sitemap: https://creme-tahara.fr/1_index_sitemap.xml