Search Console Google refuse d'indexer un site

[pj074]

Bonjour, cela a commencé avec le refus d'accepter le sitemap créer par Yoast SEO (wordpress) puis petit à petit google a desindexé presque toutes les pages de l'index dont la page d'accueil. Quand je fais une inspection d'URL avec la page d'accueil (https://sigsahel.info) google refuse avec ce message d'erreur :
"Échec : Erreur de connexion au serveur"
Ce n'est pas mon site (j'interviens juste dessus) donc je ne me suis pas occupé des DNS par exemple j'ai juste accès au FTP et à l'admin.
À noter que Bing, de son côté, ne me pose aucun problème.
Peut-être quelqu'un de plus expérimenté saura voir d'où vient le problème.
Merci

 

[cthierry]

Tu as regardé du côté des plugins de sécurité, des fois que les IP des bots soient bloqués. Sinon, voir du côté du serveur.

 

[spout]

J'ai été sur le site, la 1° fois OK, la 2° fois :

 

[Madrileño]

Bonjour,

petit à petit google a desindexé presque toutes les pages

Outre les soucis indiqués par @spout (qui semble le plus proche du souci actuel) et @cthierry .
On remarque des pages vides ou avec peu de contenus.



Vérifier aussi les messages sur Search Console.

Cordialement.

 

[Leuf]

Hello,

Pour le sitemap Yoast, la même chez moi.. j'ai eu beau le soumettre et le resoumettre, Google n'en veut pas! 'N'en veut pas' car j'ai vu dans mes logs que le bot Google check bien le sitemap avec un code 200, mais dans la console il me dit toujours 'impossible de récupérer le sitemap'.. j'ai envoyé les sous sitemaps ( pages, posts, tags ) et là ça passe, sauf les pages.. va savoir..

 

[Marie-Aude]

Hello,

Pour le sitemap Yoast, la même chez moi.. j'ai eu beau le soumettre et le resoumettre, Google n'en veut pas! 'N'en veut pas' car j'ai vu dans mes logs que le bot Google check bien le sitemap avec un code 200, mais dans la console il me dit toujours 'impossible de récupérer le sitemap'.. j'ai envoyé les sous sitemaps ( pages, posts, tags ) et là ça passe, sauf les pages.. va savoir..

Tu arrives à afficher tes flux rss sans erreur ?

 

[Leuf]

Tu arrives à afficher tes flux rss sans erreur ?

Hello,
le sitemap Yoast est au format XML
Oui, j'arrive à afficher mes sitemaps dans la g.s.c. mais uniquement les posts, les catégories et les tags.

 

[Marie-Aude]

La question était "tu arrives à afficher tes flux rss" ? Et oui, ça peut avoir quelque chose à voir.

 

[Leuf]

La question était "tu arrives à afficher tes flux rss" ? Et oui, ça peut avoir quelque chose à voir.

j'ai désactivé tous les flux RSS

 

[Marie-Aude]

Et quand tu ne les désactives pas, est ce que tu arrives à les afficher sans erreur ?

 

[Madrileño]

Bonjour,

La question était "tu arrives à afficher tes flux rss" ? Et oui, ça peut avoir quelque chose à voir.

@Leuf ça semble un souci différent (là le site n'est pas exploré par Google cf. deuxième partie de la réponse).



Concernant @pj074 :

Il semble avoir un souci de crawl, avec d'autres sites les pages sont explorées un minimum.



Pareil avec les pages du site, le robot de Google ne peut pas les explorer.




Il faut vérifier à nouveau @pj074 le WordPress, les plugins et le serveur.


Cordialement.

 

[Marie-Aude]

ça semble un souci différent (là le site n'est pas exploré par Google cf. deuxième partie de la réponse).

Tout est dans le mot "semble"

ça fait 18 ans que je développe et que je débug des sites WordPress, si je pose la question avec insistance c'est que, derrière la "semblance", la réponse peut donner des indices.

Parce que comme le monsieur est très secret et qu'on ne peut pas voir ses plans de site, ben voilà, il ne reste qu'à supputer.

 

[Leuf]

Et quand tu ne les désactives pas, est ce que tu arrives à les afficher sans erreur ?

oui, ils s'affichent normalement et j'arrive à les lire.

Je me demande si tous ces problèmes de non indexations voir de désindexation, de refus de sitemaps, ne seraient pas tout simplement ( le plus souvent ) qu'une question de disponibilité / de rapidité du serveur. Genre, en gros : serveur trop lent + page à faible contenu ou pas digne d'intérêt pour le bot Google = pas d'indexation, purement et simplement, voir même désindexation si le serveur lague quand le bot Google passe..

Le bot Bing, ça ne lui pose aucun problème :



@Madrileño j'ai reçu plusieurs fois le même message dans la g.s.c.. en effet, quand j'ai regardé mes logs, le bot d'inspection Google n'était pas passé alors qu'il aurait du.. je suis sur un hébergement mutualisé premier prix OVH, mais à ce moment là, il n'y avait personne sur le site. J'estime que mon site est 'correctement' optimisé, du point de vue de mes compétences du moins ^^ mais parfois, le serveur répond lentement , voici 2 tests réalisés sur Pingdom :

U.S. :
Allemagne :

J'imagine que lorsque le serveur mutualisé est très sollicité, en période d'affluence sur le réseau US ou européen, le temps de réponse du serveur peut être encore plus long et c'est rédhibitoire pour le bot Google.

P.S. : la dernière fois que j'ai posté un lien vers mon site, j'ai reçu plusieurs types d'attaques après mon commentaire sur les pros et les sites Wordpress

 

[Madrileño]

Bonjour,

Tout est dans le mot "semble"
ça fait 18 ans que je développe et que je débug des sites WordPress, si je pose la question avec insistance c'est que, derrière la "semblance", la réponse peut donner des indices.

Tu as tout à fait raison de vérifier cette possibilité, surtout quand on connait le passé de Yoast.

Cordialement.

 

[Madrileño]

Bonjour,

Je me demande si tous ces problèmes de non indexations voir de désindexation [...] une question de disponibilité / de rapidité du serveur. [...] serveur trop lent [...] = pas d'indexation, [...] voir même désindexation si le serveur lague quand le bot Google passe.

Normalement les serveurs de nos jours sont disponibles 99.99% du temps, donc s'il y a un souci de disponibilité il faut vérifier le serveur.
Cela me fait penser aussi aux protections serveurs et aux WAF que certains utilisent et bloquent les robots des moteurs par intermittence.

Concernant les lenteurs @Leuf ça peut aussi être le traitement des requêtes côté serveur.
La question peut être comment le WordPress a été optimisé, si la BDD est rapide, cache, etc.

@Madrileño j'ai reçu plusieurs fois le même message dans la g.s.c. en effet

Outre les sitemaps, Google Search Console indique aussi d'autres soucis d'indexation.
Si c'est spécifique aux sitemaps, ça semble comme l'indique @Marie-Aude venir d'un plugin ou WP.
Si c'est aussi un souci d'exploration d'autres pages, il faut vérifier plus généralement (WP/serveur).
Il y a des outils aussi pour vérifier l'uptime des sites, ce qui permet de vérifier le point suivant.

J'imagine que lorsque le serveur mutualisé est très sollicité, en période d'affluence sur le réseau US ou européen, le temps de réponse du serveur peut être encore plus long et c'est rédhibitoire pour le bot Google.

Cela semble peu probable ou alors de rares cas avec des sites à très fort trafic qui ont oublié de changer d'hébergement.
Les hébergeurs savent qu'ils doivent avoir un hébergement qui fonctionne pour que leurs clients aient des sites indexés.
Si on pense serveur, il faudrait vérifier qu'il n'y a pas un souci côté hébergeur (s'ils ont communiqué à ce sujet).
Sinon il est possible d'étudier les disponibilités du serveur avec des outils (uptime, temps de réponse, etc.).

P.S. : la dernière fois que j'ai posté un lien vers mon site, j'ai reçu plusieurs types d'attaques après mon commentaire sur les pros et les sites Wordpress

Rien n'empêche d'utiliser les messages privés pour présenter le lien.

Cordialement.

 

[Leuf]

Merci de m'avoir répondu ! c'est toujours utile d'avoir différents points de vue dans la résolution des problèmes

Je ne souhaite pas un diagnostique puisque les choses me vont très bien comme ça ( mon contenu principal est référencé ou est en train de l'être ). Le cas échéant je créerai un topic.

Initialement, j'évoque une piste pour aider notre collègue pj074 ^^ Le sitemap principal / index ne passe pas mais peut être que Google acceptera les sous-sitemaps en attendant de résoudre le problème, quel qu'il soit.

C'est une bonne idée de vérifier l'uptime des sites et de whitelister les bots, d'ailleurs je l'ai fait, les ips Google et Bing sont disponibles à ces adresses si cela vous intéresse :
Google : https://www.gstatic.com/ipranges/goog.json
Bing : https://www.bing.com/toolbox/bingbot.json

Au titre des optimisations : nombre minimal d'extensions, optimisation des images et format webp, pagination, pré chargement HSTS, filtrage du trafic indésirables ( bad bots ), Chargement spéculatif, header Expires, compression gzip.. à mon niveau, je peux pas faire grand chose de plus, à part peut être passer sur un CDN, mais j'obtiens des résultats satisfaisants. Après sur du mutualisé c'est comme ça, c'est le principe de la mutualisation des ressources, il y a des hauts et des bas..

 

[Leuf]

Sinon sur le site https://sigsahel.info/ il y a un gros problème de contenu mixte ( http / https ), on dirait que le certificat a été installé mais que le contenu n'a pas été mis à jour !

 

[Madrileño]

Bonjour,

Il y a aussi un problème avec l'URL de base puisque les PDF sont indexés avec www et le reste sans www.
Il faudrait @pj074 vérifier la configuration du site.

Cordialement.

 

[pj074]

Bonjour, je déterre ce post (note aux admins : j'ai pas reçu de notifications pour les derniers messages postés), bon j'ai trouvé le problème, ça venait de Fail2ban, alors là je me suis contenté de le désactiver je verrai par la suite quelle jail pose problème, merci pour vos réponses.

 

[WebRankInfo]

j'ai pas reçu de notifications

ça arrive avec les mails sur Yahoo. Possible de changer ?