Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise...

[LmWarco]

Bonjour à tous ,

Je reviens vers vous car il y a une semaine j'ai mis en place un Prestashop et fait les paramétrages dans GSC. Et bien sûr j'ai un problème. Dans le tableau d'analyse du GSC, on me dit que plus de 200 URLS (30% du site) sont bloqués par le Robot.txt par contre quand je les testes dans l'"Outil de test du fichier robots.txt", il me dit que ces mêmes URLS sont autorisés...un peu déroutant....

Mon Robots.txt et pourtant je n'ai pas de problématique particulière. J'ai un robots.txt standard, j'ai juste ajoutés des lignes pour ne pas pas autorisé le crawl sur les URls en langue étrangères ( le no-index pour la forme) car les langues sont active mais je ne les utilise pas encore. Et enfin 2 URLs pas utiles pour éviter les contenus redondants....

Les lignes que j'ai rajouté dans le robot TXT...
----
# Files
Disallow: /en
Noindex: /en
Disallow: /de
Noindex: /de
Disallow: /ru
Noindex: /ru
Disallow: /es
Noindex: /es

# Customise
Disallow: /*fr/brand/
Disallow: /*fr/nos-marques/
----------------------

Avez-vous une idée pourquoi, d'un coté Google me dit que c'est bloqué ( depuis la plateforme GSC) et de l'autre les URLS sont autorisées ( depuis l'Outil test Robot.txt de GSC) ?

Merci pour vos retours !

 

[WebRankInfo]

noindex n'est plus pris en compte dans le robots.txt

quelle est l'URL du site ?

 

[LmWarco]

noindex n'est plus pris en compte dans le robots.txt

quelle est l'URL du site ?

C'est un projet que je dois encore garder sous le coude. Je peux vous l'envoyer en message privé ?

 

[WebRankInfo]

oui mais l'aide se fait en public

 

[LmWarco]

Hello

Je reviens vers vous, après avoir trouvé la solution qui m'a permis de réduire une grande partie de mon probleme.. J'ai donc :

- Revue la structure des H(x) ( (j'avais des erreurs dans le headers du site).
- Depuis GSC, je suis aller dans "URL envoyée bloquée par le fichier robots.txt"" puis sur toutes les URLs je suis allé dans "Inspecter l'URL" puis " Tester l'URL en direct". Un message s'affiche
"Cette URL est sur Google, mais présente des problèmes" ( principalement liés aux contenus enrichies ) -> Cliquer" Demander une Indexation". Les dernières indexation commençait à dater....Une fois la requête envoyée, Il faut attendre le retour de Google parfois après plusieurs jours.

En final, j'ai indexé plus de la moitié des problèmes de mes URLs. Les autres sont toujours en cours d’amélioration.

Merci @WebRankInfo pour sa disponibilité et bon référencement à tous.

 

[dionee]

Bonjour

Je rencontre également le même problème qui me fait arracher les cheveux.
Est-ce seulement la structure des Hx qui posait soucis ?

Dionee

 

[LmWarco]

Bonjour Dionee,

Il y a avait également une erreur de "guillemet" dans le JavaScript mais je doute que soit ça la source du probleme.Si tu n'as pas d'autres idées et comme je le disais au-dessus, tu peux te pencher sur les contenus enrichies...

Bon courage !

 

[dionee]

Merci du tuyau, je vais me (re)pencher sur les contenus enrichis. Ont-ils vraiment une influence sur les petits sites ?
De quels guillemets parles-tu ?

Merci

 

[UsagiYojimbo]

Déjà supprimes tes directives noindex: du robots.txt : cette directive n'est plus supportée par Google.