Refonte site : disparition des SERPs

[zmnco]

Bonjour,

Je me permets de venir à votre rencontre suite à un problème avec le SEO d'un site et j'ai aucune idée de comment régler ça. (malgré plusieurs recherches)
Je vais détailler le problème en 5 points. (histoire d'essayer de vous rendre la lecture buvable)

1. L'histoire du site

J'ai un site qui tourne depuis plusieurs années grâce à 2 articles. Il réalisait environ 10 à 20 visites / jours mais était à l'abandon.

J'ai décidé récemment de refaire le site, et de le positionner sur certains mots clés.

2. Les conséquences de la refonte

Dès la refonte effectuée, j'ai plusieurs pages qui se sont positionnés dans le top 5.

2-3 jours après, j'ai constaté une disparition totale des nouvelles pages sur les mots clés spécifiques.

Quelques jours après, les 2 articles positionnés depuis plusieurs années top 0 à 3 sur des mots clés ont eux aussi disparu totalement des SERPs.

Résultat : plus aucune page positionnée sur mes mots clés. En revanche, en faisant site:monsite.com, les pages sont toujours indexées (+ la GSC qui m'indique aussi la même chose)

3. Qu'est ce qui a été fait sur le site ?

En ce qui concerne le contenu :
- Pas beaucoup de contenu, placé sur des requêtes faciles/moyennes à positionner d'après semrush, des articles optimisés SEO, mais certains le son moins du fait qu'il générait un peu de trafic avant la refonte et que je me suis dis "je les réoptimiserai plus tard mais je veux les garder pour l'instant".
On a 8 articles, et 11 pages actuellement
- Des anciens articles avec 0 clics et peu d'impressions ont été supprimés et redigérés via une 301 vers :
- soit des articles similaires à l'ancien,
- soit vers des pages "hub" du genre /actualites/

En ce qui concerne la technique du site :
- Un score moyen mobile et ordi à 90/100
- Les images en webp et optimisées
- blablabla le travail nécessaire pour rendre un site rapide au yeux des moteurs de recherche

Le site est plutôt rapide à s'afficher et à naviguer.

En ce qui concerne la popularité :
- Rien du tout (bouuuh)
- D'après Semrush, on est à 6 en DA

Pour le site : elkear.com

4. Mon analyse perso + que dit la belle GSC

Dès la refonte, on constate une augmentation des impressions et des apparitions dans Discover.
Dès la disparition des pages sur les MCs, une diminution des impressions et 0 clics.

En expérience, on est dans le vert, pas de problème à signaler. Robots.txt valide, sitemap aussi...

Le problème se gatte dans les statistiques d'explorations. On s'aperçoit :
- Une augmentation du temps de réponse moyen
- l'état de l'hôte qui détecte un problème la semaine dernière
- La connectivité du serveur avec un taux d'échec élevé (+/- 33%)



En creusant plus, je remarque que dans les détails de l'exploration ou sont affichés les pages en 200/3XX/4XX.. j'ai une ligne "impossible d'accéder à la page" avec des temps de réponse moyen à 50 000ms depuis la refonte. En revanche, toutes les pages présentes dans la liste sont accessibles (en 404 mais accessible), malgré ce qu'indique les robots.
J'ai aussi mon domaine racine en non sécurisé qui s'affiche. (http://monsite.com sans le S à http) Pourtant, mon domaine racine redirige bien vers le https.



5. Ce que j'en pense

- Soit le problème de pertes des positions vient du fait que la refonte est récente, et je dois juste attendre un peu : mais ça reste bizarre de perdre toutes les positions d'un coup même si le site n'avait déjà pas beaucoup de page ni d'autorité à l'origine, sachant qu'il se positionnait sur mes nouveaux articles/pages juste après la refonte du site.
- Soit le problème vient du temps de réponse moyen, et j'ai aucune idée de comment résoudre ça.
- Soit je suis à côté de la plaque et ça a rien à voir avec tout ça.

Qu'en pensez-vous ?

J'espère que mon problème trouvera preneur. Désolé pour le pavé. Je suis disponible si vous avez besoin de plus d'info!

Tristan.

 

[pomination]

Bonjour,
La refonte a consisté en quoi exactement ? Juste une mise à jour de contenu ou bien un changement complet de CMS ? Un changement de nom de domaine ?
Et qu'a été fait exactement sur les pages qui fonctionnaient bien ?

La taille de téléchargement est à 0 donc ça semble indiquer que le robot ne peut rien collecter. Y'aurait pas un Disallow all dans le robots.txt par erreur ?

Edit :
C'est la directive Disallow: /wp-* qui est trop restrictive
A mon sens, il faut au moins rajouter un Allow /wp-content/

 

[zmnco]

Bonjour et merci pour ta réponse

La site est resté sur WordPress, avec juste un changement de thème from scratch. Le nom de domaine est resté le même. Quelques URL ont changées et ont été redirigées en 301 (ancienne vers nouvelle). Les URL des pages "articles" qui fonctionnait bien n'ont pas changées.

Sur les pages qui fonctionnait bien, le contenu est resté globalement pareil. Quelques liens internes et externes (lien sponso) sur la sidebar et en fin d'article on été rajouté. Il faut savoir qu'au début j'avais obfusqué les liens sponsos externes, mais que j'ai enlevé l'obfuscation après avoir rencontré les disparitions des MCs sur les SERPs.

Merci pour ton conseil pour le robots.txt. Je vais les appliquer.
En revanche, je ne pense pas que le problème vienne de la, puisque le robots.txt a été modifié après la perte des positions. Initialement, il contenait :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: monsitemap

 

[eldk]

Bonsoir,

J'ai voulu voir de quoi avait l'air le site avant. Je me suis rendu ici : https://web.archive.org/web/20240000000000*/elkear.com : le site retourne une erreur 500 (problème logiciel, erreur serveur). C'est peut-être une histoire de controle des bots ... Ou, réellement une erreur ???

Cordialement,

Eric




Et maintenant cela semble fonctionner. ???

 

[eldk]

Il semble qu'il y ait quelques problèmes :

De temps en temps, la page d'accueil qui est dans l'ensemble très rapide, devient très longue à charger : à l'instant : 11 secondes.

J'ai également lighthouse qui indique dans la partie SEO : robots.txt is not valid Lighthouse was unable to download a robots.txt file (cela sur plusieurs pages du site) - j'ai controlé sur d'autres sites pour voir si lighthouse avait un problème : pas d'erreur. Cependant un test ici : https://technicalseo.com/tools/robots-txt/ sur plusieurs page indique que tout est ok.

Peut-être un controle au niveau des requetes ??? Un firewall logiciel ???

Il semble bien qu'il y ait quelques problèmes "aléatoires".

 

[zmnco]

Bonsoir,

J'ai voulu voir de quoi avait l'air le site avant. Je me suis rendu ici : https://web.archive.org/web/20240000000000*/elkear.com : le site retourne une erreur 500 (problème logiciel, erreur serveur). C'est peut-être une histoire de controle des bots ... Ou, réellement une erreur ???

Cordialement,

Eric

Voir la pièce jointe 2395


Et maintenant cela semble fonctionner. ???

Il semble qu'il y ait quelques problèmes :

De temps en temps, la page d'accueil qui est dans l'ensemble très rapide, devient très longue à charger : à l'instant : 11 secondes.

J'ai également lighthouse qui indique dans la partie SEO : robots.txt is not valid Lighthouse was unable to download a robots.txt file (cela sur plusieurs pages du site) - j'ai controlé sur d'autres sites pour voir si lighthouse avait un problème : pas d'erreur. Cependant un test ici : https://technicalseo.com/tools/robots-txt/ sur plusieurs page indique que tout est ok.

Peut-être un controle au niveau des requetes ??? Un firewall logiciel ???

Il semble bien qu'il y ait quelques problèmes "aléatoires".

Merci pour vos réponses,

Effectivement, j'ai testé aussi archive.org, et j'ai remarqué que parfois cela fonctionne, parfois non.

J'ai aussi testé un speed insight et j'ai remarqué le fait que le robots.txt s'affiche comme invalide, mais d'autres fois je n'ai pas le message. Je ne comprends pas vraiment d'ou ça peut venir.

J'ai le plugin WordFence qui pourrait peut être causer le problème, mais dans mes souvenirs, le parametrage de base n'empêche pas les bots de passer sur le site. Les problèmes sont aléatoires.

La GSC indique bien que le robots.txt est correcte




Quand je prends une page au hasard, les robots arrivent à voir correctement la page



Quand j'analyse les logs d'un jour ou le temps de réponse a été élevé, j'ai aucune erreur 500 qui ressort...

Je suis un peu perdu et je ne vois pas vers quoi m'orienter..

Merci !

 

[pomination]

Bonjour,
Je persiste à penser que ça, ce n'est pas normal :


Il faut comprendre pourquoi. Si le robot peut correctement atteindre les données, il ne devrait pas y avoir O en taille de téléchargement.
A noter aussi, dans ta capture d'écran, le bot récupère aussi bien le robots.txt en http qu'en https. Il y a donc un souci sur les redirections.

 

[zmnco]

Bonjour,
Je persiste à penser que ça, ce n'est pas normal :
Voir la pièce jointe 2399

Il faut comprendre pourquoi. Si le robot peut correctement atteindre les données, il ne devrait pas y avoir O en taille de téléchargement.
A noter aussi, dans ta capture d'écran, le bot récupère aussi bien le robots.txt en http qu'en https. Il y a donc un souci sur les redirections.

La taille de téléchargement à 0 sur le screen que tu as mis correspond aux fichiers ayant une réponse "impossible d'accéder à la page". (il faut regarder les liens > 7 février sur le scrren, jour de la mise en ligne de la refonte). Je ne comprends pas pourquoi ces liens sont classés dans cette catégorie et non en 404 ou autres.



Sur les autres pages, j'ai bien une taille de téléchargement :



J'ai corrigé le problème de redirection SSL. Normalement ça devrait être good maintenant. J'ai une redirection 301 en htaccess que je viens de mettre à l'instant.

Merci pour ton aide,

Tristan.

 

[pomination]

Vraisemblablement les pages inaccessibles sont le résultat d'une redirection 301 qui ne fonctionne pas toujours.
Soit il y a un souci dans les règles de redirection, soit l'hébergement n'est pas stable.
Edit : "Dans les stats d'exploration de GSC, pas de défaut sur l'état de l'hôte ?" --> si, c'est dans le premier post Donc il faut questionner l'hébergeur, il y a un défaut qq part chez eux.

 

[zmnco]

Vraisemblablement les pages inaccessibles sont le résultat d'une redirection 301 qui ne fonctionne pas toujours.
Soit il y a un souci dans les règles de redirection, soit l'hébergement n'est pas stable.
Edit : "Dans les stats d'exploration de GSC, pas de défaut sur l'état de l'hôte ?" --> si, c'est dans le premier post Donc il faut questionner l'hébergeur, il y a un défaut qq part chez eux.

Je suis en train de voir avec OVH, on verra bien leur réponse.

Mais j'ai jamais eu de problème avec eux auparavant et c'est apparu au moment de la refonte. Ne penses-tu pas que cela est lié au site ?

 

[pomination]

Il y a un système de cache qui n'était pas en place avant ?
Pas d'erreurs dans les logs Apache ?

 

[pomination]

Est-ce que l'ancien thème était en Elementor aussi ?

 

[zmnco]

Il y a un système de cache qui n'était pas en place avant ?
Pas d'erreurs dans les logs Apache ?

Est-ce que l'ancien thème était en Elementor aussi ?

Non, aucun système de cache était mis en place avant. Je l'ai ajouté lors de la refonte.

Elementor était aussi présent sur l'ancien thème.

Pour les erreurs, j'en ai des nouvelles qui apparaissent plus régulièrement qu'avant :
- FastCGI: An error happened during Fastcgi processing, fallback to CGI
- FastCGI: incomplete headers (0 bytes) received from server "/racineovh/racineftp/www/index.php", referer: https://elkear.com/wp-admin/post.php?post=59&action=edit
- script not found or unable to stat: /racineovh/racineftp/cgi-bin, referer: elkear.com

*racineovh & racineftp sont du texte remplacés par soucis de confidentialité

Pour la journée du 21 février, j'ai environ 56 lignes qui répète les erreurs ci-dessus.

J'ai regardé les logs des mois précédents la refonte, ça a pu arriver d'en avoir 1 ou 2 / fichier dans ce style mais jamais autant que maintenant.

 

[pomination]

Semble-t-il assez connu sur OVH : https://community.ovh.com/t/Wordpress-et-FastCGI-error/60603/2
Ces erreurs là finissent sur un code 500 ce qui pourrait correspondre au fait que le robot dise qu'il ne peut joindre la page et les temps élevés constatés.
Va falloir débugguer..
A vérifier aussi, la quantité de mémoire allouée à PHP, Elementor est assez gourmand. Idéalement 768Mo
https://serverpilot.io/docs/error-failed-to-read-fastcgi-header/

 

[zmnco]

Semble-t-il assez connu sur OVH : https://community.ovh.com/t/Wordpress-et-FastCGI-error/60603/2
Ces erreurs là finissent sur un code 500 ce qui pourrait correspondre au fait que le robot dise qu'il ne peut joindre la page et les temps élevés constatés.
Va falloir débugguer..
A vérifier aussi, la quantité de mémoire allouée à PHP, Elementor est assez gourmand. Idéalement 768Mo
https://serverpilot.io/docs/error-failed-to-read-fastcgi-header/

Effectivement, et j'ai comme l'impression que le bug est arrivé depuis que j'ai ajouté le plugin WordFence. De plus, celui-ci agit sur le fastcgi.
Quand je regarde, j'ai aussi des erreurs m'indiquant des dossiers de WordFence dans les logs.

Je l'ai désactivé, je vais voir comment réagira les logs après cela. Si rien ne se passe, j'effectuerai le déboggage via les liens que tu m'as fournis.

On croise les doigts

Pour la mémoire allouée, le problème c'est qu'OVH empêche la modification de memory_limit sur les offres hébergements web. On est bloqué à 512MO. Mais j'ai pas de "très grosse page lourde" donc ça devrait le faire.

 

[pomination]

512 Mo c'est déjà très bien.
Pour la sécurité, mettre des mots de passe robustes, et faire les réglages de base sur WP c'est déjà un bon départ.
Je ne sais pas si un WAF est nécessaire, mais je ne suis pas expert du tout sur le sujet.
A toutes fins utiles : https://www.wpbeginner.com/wordpress-security/

 

[eldk]

Bonjour,

Il faut isoler le problème.
Avec Wordpress, c'est classique : une mise à jour de plugin ... independamment de ta mise à jour du "template" peut être buggée.

1 - as tu changer d'hebergement ??
2 - désactiver les plugins succeptibles de provoquer ce genre de phénomène - et "simplifier" également le robots TXT que les outils Google semble ne pas digérer (en tout cas lighthouse) jusqu'à ce que cela passe pour trouver la ligne qui bloque ... .

Pour le 2 :
- tu as déjà désactivé Wordfence (que je ne connais pas) - vois du côté du cache et utilise un simple cache HTML à la place de WP-Rocket : moins d'appel à PHP et voir si cela résoud au moins le problème de page inaccessible - https://wp-super-cache.fr.softonic.com/wordpress .

Cordialement,

Eric

 

[zmnco]

Bonjour à tous,

Voici un petit feedback sur les retours après la désactivation de WordFence :



Les temps de réponses ont diminués. Aussi, la connectivité du serveur est revenu à la normale :



J'ai bien retrouvé les positions sur les pages enceintes connectées type "/produit/..." mais je n'ai pas retrouvé mes positions sur les articles qui rapportaient le plus de trafic. Seul un article a récupéré sa position (et pas le plus interessant)

Bonjour,

Il faut isoler le problème.
Avec Wordpress, c'est classique : une mise à jour de plugin ... independamment de ta mise à jour du "template" peut être buggée.

1 - as tu changer d'hebergement ??
2 - désactiver les plugins succeptibles de provoquer ce genre de phénomène - et "simplifier" également le robots TXT que les outils Google semble ne pas digérer (en tout cas lighthouse) jusqu'à ce que cela passe pour trouver la ligne qui bloque ... .

Pour le 2 :
- tu as déjà désactivé Wordfence (que je ne connais pas) - vois du côté du cache et utilise un simple cache HTML à la place de WP-Rocket : moins d'appel à PHP et voir si cela résoud au moins le problème de page inaccessible - https://wp-super-cache.fr.softonic.com/wordpress .

Cordialement,

Eric

1- Non, j'ai gardé le même hébergement chez OVH.
2 - J'ai simplifié le robots.txt en le remettant comme il était initialement. Lighthouse peut lire correctement le robots.txt depuis que j'ai supprimé WordFence.

En tout cas, le problème de connectivité semblait bien venir de WordFence, et de l'erreur

- FastCGI: An error happened during Fastcgi processing, fallback to CGI

qui revenait régulièrement tout au long de la journée dans les logs. Je n'ai pas encore exploré voir d'ou pouvait venir ce problème, mais je vous tiens au courant si j'arrive à trouver une solution.

Si vous avez d'autres idées, n'hésitez pas !

Un grand merci à vous tous pour votre aide.

 

[pomination]

Dans WordFence, il faudrait probablement regarder s'il n'ya pas des règles d'exclusion qui permettraient, à coup sûr, de ne pas filtrer les accès des bots.
Pour les pages, je crains que la patience ne soit de mise. GG punit vite mais prend du temps pour la rédemption

 

[eldk]

Bonjour,

peut-être que tu dois voir de ce côté là : https://help.ovhcloud.com/csm/fr-we...?id=kb_article_view&sysparm_article=KB0053013

Voir si ta config php est OK pour Wordfence (timeout php...), et, avant tout avec sa configuration de base. Vérifier .ovhconfig ... Je n'ai pas d'hebergement mutualisé chez OVH. Mais c'est fort probablement du côté de ta config php que cela se passe. Passer en php-fpm pour voir ?

N'oublie pas de sauvegardé ta config, avant de fare tes tests.

https://search.brave.com/search?q=+use+mod_php8+fastcgi+fpm+ovhconfig&source=web

Cordialement,

Eric

 

[zmnco]

Bonjour à tous,

Je reviens vous donner des nouvelles concernants mon problème, et celui concernant la connectivité est réglé. Merci beaucoup à @pomination et @eldk pour leur aide.

En revanche, je n'ai pas récupéré mes positions... mais je viens avec une (bonne?) nouvelle.

Le 21 mars 2024, j'ai récupéré les positions que j'avais perdu sur TOUS les mots clés de tous les articles... mais pour une journée seulement. J'ai tout reperdu le lendemain.

Par exemple, sur un mot clé spécifique peu concurrentiel, voici l'historique de variation du MC :
- Au début de la refonte, j'ai été positionné dans le top 10
- J'ai disparu de la SERP par la suite autour du 13 février
- le 21 mars, j'ai récupéré mon top 10
- Le lendemain, j'ai re-disparu.


Le schéma se reproduit sur tous les articles.

Je ne sais pas d'ou cela peut venir, si c'est normal ou non, et je commence à me demander si le problème venait vraiment de la connectivité.

Pour info, mes pages "produits" ce positionnent normalement, mais pas mes pages articles.

Si y'a des idées ou creuser, je suis preneur.

Merci,

Tristan.