Crawl Robots.TXT

[NikyBee]

Bonjour,

Google crawl toujours mon ancien robots.txt

A chaque fois il me sort en erreur mes vielles pages de mon site web.

J'ai basculé mon site en https au mois de mars 2017.

Pensez vous que c cela qui pose le problème

Le problème est identique avec bing qui vient de me desindexer depuis ma bascule en https

Merci de votre aide

Mon url www.1001chaussures.com

Niky

 

[WebRankInfo]

le robots.txt de ton https ne sert à rien : la ligne "User-Agent: *" n'est pas suivie d'une instruction de type Disallow donc inutile
et mieux vaut déclarer tes sitemaps dans search console, pas ici

ça donne quoi quand tu demandes à Google de venir crawler ce robots.txt ?

PS : y'a un paquet de pb remontés par l'audit RM Tech...

 

[UsagiYojimbo]

Tes metas sont à revoir : plusieurs sont inutiles ou non conformes (la meta googlebot n'existe pas).

Et les temps de réponse du site sont assez mauvais, je regarderais aussi de ce côté.

 

[NikyBee]

mes sitemaps sont bien déclaré dans search console
et quand je fais explorer par google il affiche bien le bon robots.Txt

 

[UsagiYojimbo]

Je sais pas comment tu as gérés tes redirections lors de la bascule, mais le robots.txt en http n'est pas redirigé. Déjà, il me semble y avoir là un souci.

 

[NikyBee]

Je sais pas comment tu as gérés tes redirections lors de la bascule, mais le robots.txt en http n'est pas redirigé. Déjà, il me semble y avoir là un souci.

ok je vais regarder cela mais quand je le met en https il s affiche

Merci c est deja une premiere piste

 

[NikyBee]

Tes metas sont à revoir : plusieurs sont inutiles ou non conformes (la meta googlebot n'existe pas).

ok je vais voir pour supprimer les inutiles

Et les temps de réponse du site sont assez mauvais, je regarderais aussi de ce côté.

je penses que c est ma base de données qui fait le soucis de lenteur de temps en temps

 

[UsagiYojimbo]

Ta redir http/https est une 302, très mauvais https://www.webrankinfo.com/outils/header.php?url=http%3A%2F%2Fwww.1001 ... internaute

 

[WebRankInfo]

la meta googlebot n'existe pas

pourtant elle est bien officielle sur ces pages :
https://developers.google.com/search/reference/robots_meta_tag
https://support.google.com/webmasters/answer/79812?hl=fr

 

[NikyBee]

Ta redir http/https est une 302, très mauvais https://www.webrankinfo.com/outils/header.php?url=http%3A%2F%2Fwww.1001 ... internaute

ok c est pour cela que bing ma desindexer, je regarde pour corriger cela