Problèmes d'indexation de Google fin 2020

Olivier Duffez (admin)
Membre du personnel
Vous avez certainement entendu parler ces derniers temps des bugs de Google concernant l'indexation. D'ailleurs, on en a déjà parlé ici dans quelques discussions. Et dans Search Console on ne peut plus demander l'indexation d'une URL (c'est désactivé)...

gsc-demande-indexation-desactivee.png


Google est le champion de l'IA, mais ne saurait plus indexer correctement les pages qu'il crawle ?

Il y a du vrai, mais d'après mes premières analyses, je pense qu'il y a une raison bien plus importante qui explique pourquoi certaines pages ne sont pas indexées : Google ne veut plus forcément indexer tout ce qu'on lui donne. Ca va même plus loin : il semble avoir une façon de prédire si ça vaut le coup de crawler des pages d'un site.

EDIT 1 : plutôt que de poursuivre sur cette discussion, lisez plutôt mon dossier sur le crawl prédictif de Google.

EDIT 2 : Le 22 décembre, Google a annoncé (enfin) que cet outil est remis en service. Mais ça ne change pas vraiment les choses, car ça n’est qu’un outil de dépannage. En effet, vos pages ne devraient pas avoir besoin de ça pour être (rapidement) indexées.


Je suis en train d'affiner les choses et d'essayer de valider des hypothèses. Je me suis dit qu'il serait intéressant de centraliser les discussions alors je vous propose quelques questions :
  • Est-ce que vous aussi vous avez des problèmes avec l'indexation Google ? Est-ce que ça concerne certains types de sites, ou de pages ? Est-ce que ça arrive sur des sites où vous n'aviez habituellement pas de problèmes ?
  • Ou bien est-ce que vous ne vous êtes rendu compte de rien ?
  • Ou bien vous ne savez pas comment on peut le savoir ou l'étudier ?
Je regroupe la discussion ici sur le forum (ainsi que sur LinkedIn) afin de rassembler des infos et des retours d'expérience. Je ne sais pas encore ce que je pourrai en faire mais j'essaierai de faire une petite synthèse.

Merci d'avance pour votre participation ici ou là-bas !
Vous pouvez aussi me contacter en privé.

Je termine par les explications actuelles de Google...

Selon Google (source), la fonction "Demander une indexation" de l'outil d'inspection d'URL a été désactivée afin d'effectuer certaines mises à jour techniques. Quand Google l'a annoncé le 14 octobre dernier, c'était censé être réactivé "dans les prochaines semaines". Google rappelle que le crawl et l'indexation continuent par des des méthodes habituelles.

Voici les conseils de Google pour favoriser/optimiser le crawl (source) :
  • Transmettre un sitemap
  • Envoyer une demande d'exploration de pages individuelles (ce n'est pas possible en ce moment...)
  • Utiliser des chemins d'URL simples, intelligibles et logiques pour vos pages, et avoir des liens internes clairs et directs sur le site.
  • Identifier clairement la page canonique et les autres pages
  • Utiliser hreflang pour renvoyer les internautes vers d'autres versions linguistiques de votre page.
  • Utiliser le fichier robots.txt judicieusement, pour indiquer à Google les pages à explorer en priorité afin de protéger la charge du serveur, et non comme moyen de bloquer l'affichage de contenu dans l'index Google.
  • Si vous spécifiez des paramètres d'URL sur votre site pour la navigation (par exemple, si vous indiquez le pays de l'utilisateur sur un site d'achat mondial), utilisez l'outil Paramètres d'URL pour signaler à Google les paramètres importants.
  • Assurez-vous que Google peut accéder aux pages clés, ainsi qu'aux ressources importantes (images, fichiers CSS, scripts) nécessaires pour afficher correctement la page.
Actuellement, il est clair que ça ne suffit plus. Avoir des backlinks aide beaucoup, ou plus généralement avoir un site populaire.
 
Dernière édition:
WRInaute occasionnel
Hello,

Alors de mon côté..

Pour commencer, au mois d'octobre et début novembre, j'ai eu une très grosse activité du bot adsense sur mes recherches qui sont pourtant en noindex, nofollow. Il a testé pas loin de 80'000 combinaisons de termes sur mon moteur ! Pourquoi, je sais pas ! D'autant qu'il n'y aucune pub sur mon site...

Mes articles sur mon blog sont vu assez vite mais souvent depuis 2 mois ==> Explorée, actuellement non indexée

Couvertures : Passablement de suppression mais assez logique me semble-t-il. J'avais fait un redirection qui a pris beaucoup de temps avant sa réaction.. cependant, il me semble que ça nettoie plus en profondeur..

Exclue par la balise "noindex" : les pages Commence a être supprimées, ce qui n'était pas le cas auparavant

Fil d'Ariane , logos, sitemaps etc..: Tout es ok

Toutefois et ce qui me trouble le plus , c'est la piètre qualité de la pertinence sur les recherches..

Bonne bonne
Yule
 
WRInaute occasionnel
Mais attention, j'oubliais... Ce qui est mentionné sous la rubrique couverture ==> Explorée, actuellement non indexé N'est pas du tout à jour ! Quelques pages listées sont bien présentes dans les résultats de google

Ci-dessous, juste pour montrer depuis quand ca commencé..




KXq94KG
 
Dernière édition:
Guest
Depuis un an les améliorations SEO sont en cours sur un de mes projets, je ne constate pas d'anomalies avec un journal d'information de plus de 200 articles en 12 mois. Juste un petit effet yoyo sans conséquences négatives.

Juste un truc bizarre, les pages sont considérées comme lentes par la Google Search Console même sur ordinateurs, alors que Pagespeed insights est au vert pour les ordinateurs.

Aussi, le journal a très peu de backlinks, mais il grimpe dans les SERP's quand même de semaines en semaines.

Ce journal est pas mal partagé sur les réseaux sociaux (50% environs des lectures proviennent de Facebook et Twitter, Direct, le reste vient de Google.

En clair, rien d'anormal chez moi...
 
Nouveau WRInaute
Bonjour,

J'ai un site d'actu foot. Mes articles sont habituellement indexés sur google et google news en 5 minutes maxi. Mais j'ai remarqué depuis quelques semaines que certains articlent mettent jusqu'à 12 voire 24h pour être indexés alors que tous les voyants sont au vert dans la search console.
 
Olivier Duffez (admin)
Membre du personnel
c'est embêtant en effet. Ces pages sont ce que j'appelle "techniquement indexables", mais qu'en est-il de leur valeur ajoutée ? de leur contenu ?
 
Nouveau WRInaute
Ce matin aucun article indexé de 9h30 à 12h. Celui de 12h20 est passé sans encombre, indexé très rapidement, est pas forcément mieux en longueur et valeur ajoutée.

Concernant la valeur ajoutée j'ai parfois du mal à comprendre l'algo de google. A titre d'exemple, voici un article d'un site de foot qui arrive régulièrement à placer ses articles en Une et cela assez rapidement : https://www.hommedumatch.fr/article...relancee-pour-la-succession-de-garcia_2491391

On ne peut pas dire que cela soit exceptionnel en terme de VA
 
WRInaute discret
J'ai eu plusieurs vagues de pages détectées et non indexées

- Des pages qui n'existent pas mais détectées on se demande pourquoi
- Des pages qui avaient été supprimées et remplacées avec une redirection
- Des pages qui existent mais dont l'url est farfelue sur la search console
- Des url de vidéos (site.com/repertoirevideo/mavideo.mp4) mais pas les pages ou sont visionnables les vidéos.
-Des url farfelues qui ne correspondent à rien, on se demande si l'IA de GG n'a pas fait de la physique quantique au moment de pondre ces détections de pages.

Evidemment aucune de ces "pages ou url" détectées ne sont dans mon sitemap

Sinon aucune url légitime n'a été désindexée.
 
Olivier Duffez (admin)
Membre du personnel
ah ça fait bcp de choses étranges en effet ! mais l'essentiel dans ton cas est qu'aucune page importante ne soit exclue de l'indexation
 
WRInaute occasionnel
Je gère environ 1000 sites web.
Cela fait un moment que j'ai remarqué une déliquescence de l'indexation de Google, mais surtout de la désindexation, or balourder le robots.txt d'un côté et ne plus désindexer les problèmes, ça crée du problème.
Autre information, Google a, depuis un mois environ, procédé à un déménagement de son infrastructure, et avait annoncé que l'indexation (et la désindexation) allait être sous une forme (ne me demandez pas comment) en standby. Et je ne sais pas si ce process est toujours en cours.
 
Olivier Duffez (admin)
Membre du personnel
Peux-tu nous rappeler la source de cette info ? je parle du déménagement car pour l'indexation je suppose que tu fais référence à ce que j'indique dans mon post
 
WRInaute impliqué
Pas de gros problème systémique, mais quelques couacs peu explicables. J'ai notamment quelques articles (peu, deux ou trois, un seul à l'heure actuelle) rétifs à l'indexation ("exploré, non indexé"), sans raison particulière (mis à part un, mais ce n'est pas celui qui est absent de l'index en ce moment), ils sont dans la même veine que les autres articles du site qui n'ont pas de soucis.

Par contre l'indexation a toujours été lente chez moi, en fait, le crawl est erratique. Un article publié il y a une semaine n'a toujours pas été crawlé, alors que d'autres écrits postérieurement l'ont été. Google a accès une sitemap, et il la consulte un peu quant ça lui chante. À l'inverse, il crawle assez régulièrement certains articles qui, certes, attirent plus de visite en recherche naturelle, mais n'ont pas du tout été modifiés.

En comparant avec Bing (qui pourtant n'a pas accès à la sitemap), je trouve que Bingbot a un crawl bien plus performant.
 
Olivier Duffez (admin)
Membre du personnel
Merci pour ce retour assez précis. Est-ce que ça ne concerne qu'un seul site ? Ce site a-t-il des bonnes performances SEO, régulièrement ? des manques de qualité sur certaines parties ou pages ?
 
WRInaute impliqué
En l’occurrence, un seul site.

Je manque clairement de recul pour bien évaluer la performance SEO dans l'absolu, mais globalement, performances correctes : le visibility index est de l'ordre de 0,03, plusieurs top position sur des requêtes qui ne sont pas relatives à la marque, un trafic depuis la recherche naturelle en hausse notable (et constante).

SEO on site exclusivement, quasiment pas de backlink (genre deux ou trois si on vire exclue les liens pourris que Google ignore de toute façon). Pas trop de doute sur la qualité des pages, l'essentiel des pages sont des articles dont le contenu est original, et (quoique ce soit subjectif) de qualité, leur longueur est variable, ça va de quelques centaines de mots à 5 000 (la moitié des articles sont à plus de 500 mots). Toutes les pages de "navigation" (liste des articles, sauf la première, liste des catégories, articles triés par catégorie, etc.) sont en no-index.

Par contre thématique très YMYL, mais je vois plus ça comme un avantage concurrentiel, le EAT est bon.
 
Nouveau WRInaute
J'ai un site datant de 2016.

Souvent un lien inexistant qui revient, avec le profil suivant monsite.fr/?cat=12

Je l'ai supprimé dans la search console, mais il est revenu 1 fois dans

Couverture > Erreur liée à des redirections

Ben... vu que je peux pas supprimer concrètement une page qui n'existe pas, je ne fais que la supprimer de la search console, dans les "suppressions temporaires". Je vais voir s'il me le redemande dans le temps.


Points positifs, il y en a. Je n'ai aucun problème d'indexation. Je mène d'ailleurs actuellement un plan pour dynamiser mon site.

J'alterne nouvel article et refonte d'ancien article. Je fais ça depuis environ 2 mois. Beaucoup de boulot, mais...

Apparemment, Google m'apprécie, car mes articles sont indexés en quelques heures, voire en 1 h. De même, la mise à jour d'un ancien article est pris en compte. Je le vois à la nouvel meta-description que je mets.

Je progresse sur quelques mots-clés et mes revenus connaissent une augmentation régulière, bien que légère. Je compte mener cette action sur un champ lexical précis.

Ce qui m'amène à dire qu'à ce niveau, j'en ai marre de faire la recherche et la course aux backlinks.

Après avoir commencé une campagne, j'ai tout mis à l'arrêt. J'ai un peu peur de me faire attraper, puis ça demande de l'organisation, du boulot, de la finesse, des frais, etc.

Je vais donc voir si grâce à la création de contenu autour du champ lexical, je vais pas susciter des liens naturels, tout simplement. En tout cas, je progresse bien dans les résultats. Je suis donc satisfait, globalement.

Tant qu'à mettre de l'énergie, autant en mettre dans la création d'article.

Voilà, bonne journée.

F. Hachemi
 
WRInaute discret
Hello,

Même constat de mon côté. Au début cela m'a inquiété car je pensais qu'un élément basic échappait à mon analyse de la situation.

Je pense avoir tout fait, pourtant des pages principales sont pas indexées (le site est récent).
J'étais sur un WordPress dont les principales pages étaient indexées, et ayant de nombreuses modifications à réalisé, j'ai bloqué l'indexation du site (ce qui m'a passé toutes les pages en noindex).

Depuis 1 mois et demi, la search console les voit toujours en noindex alors que rien ne limite leur accès.

Je pense avoir tout fait, du maillage, au netlinking en passant par le sitemap, rien n'y fait, elles restent inconnues de l'index.

La fonctionnalité "tester l'url en direct" m'indique d'ailleurs bien qu'il n'y a pas de problème.

cSmkbj.jpg


J'ai bon espoir pour que la fonction d'ajout à l'index revienne.
Personnellement quand Google dit "quelques semaines" j'entends plusieurs mois et surtout le fait que "cela devrait revenir".

J'ai jamais connu cette situation et comme beaucoup, ça commence à me courir.
Seul refuge : c'est pour tout le monde pareil et ça met pas en défaut les pratiques courantes que tout le monde mène correctement.
 
WRInaute discret
Olivier, c'est quoi vos hypothèses ?
C'est sympa on partage tous notre expérience les uns avec les autres, mais pour ne pas juste empiler le fait qu'on rage tous, cela serait intéressant de connaître vos hypothèses :)
 
Olivier Duffez (admin)
Membre du personnel
J'ai déjà donné le début de la réponse dans mon post. Je l'ai complété au travers de commentaires ici ou surtout sur LinkedIn. Je finalise mes recherches et tests, je ferai un retour d'ici quelques jours.

En gros, Google semble utiliser du machine learning pour apprendre sur un site donné (ou un type de pages), si généralement quand il vient crawler une page, il a bien fait car derrière il la trouve assez intéressante pour l'indexer. Et si ce n'est pas le cas... alors il se "note dans un coin" que le crawl du site doit être réduit !
 
Guest
Google chez moi c'est le contraire, il indexe trop, et dans le trop des pages sans intérêts que j'ai supprimé. Au total 1300 pages que j'ai retiré de Google sur la search console.

Je teste en ce moment la suppression des pages zombies et de la pagination Après une grosse chute dans les SERP de Google suite aux tests, ça commence à redevenir normal. J'attends la prise en compte de tous les changements par Google, ça tarde un peu, mais ça suit son cours.
 
WRInaute discret
Dans mon cas : site de moins de 10 pages, et parmi les pages qui "refusent" de s'indexer : il s'agit que des pages qui contiennent le plus de contenu (des textes soignés et structurés). Impossible que l'algo décide que ces pages aient zéro intérêt.

Le fait que l'action manuelle d'indexation soit bloquée en dit peut être plus long qu'il n'y paraît.
Pourquoi nous interdire cette opération si ce n'est qu'un gros changement se trame derrière ...

J'ai du mal à digérer la piste du "google décide si le contenu vaut la peine ou pas" (autant je suis d'accord si par comparaison Google trouvait que certaines pages avaient des taux de similarités trop élevés...).
 
Dernière édition:
Olivier Duffez (admin)
Membre du personnel
ok. c'est étonnant d'avoir désindexé des pages juste parce que tu avais des grosses modifs à faire.
et donc il ne veut plus revenir crawler ces pages ?
 
WRInaute discret
Il veut pas revenir crawler c'est ça.
Même problème avec un autre site, où j'ai cloné le WP de dev en oubliant de retirer la blocage du crawl.
 
Olivier Duffez (admin)
Membre du personnel
quand c'est ça, pour un petit site, c'est sans doute le manque de notoriété (backlinks) et me fait que ce soit rare que Google ait besoin de lui allouer des ressources.

renvoyer un nouveau sitemap (nouvelle URL) peut aider
obtenir des backlinks aussi
 
WRInaute discret
J'ai tenté le sitemap déjà, il voit bien les urls mais continue de bouder.
En désespoir, j'ai commencé aussi à publier quelques articles pour engager le netlinking (puisque ça figure dans la liste de ce qui peut provoquer l'indexation)
 
WRInaute discret
(...) Je finalise mes recherches et tests, je ferai un retour d'ici quelques jours. (...)

Cela m'intéresse d'avoir ton retour.

Bon alors ? côté solution pour quand même indexer une poignée de pages ? :)
Tu nous dis ? ou faut aller acheter le tuto vidéo pour connaître les secrets :D
 
Nouveau WRInaute
Bonjour,

123boost je rencontre exactement le même problème de A à Z en ayant fait exactement la même manip que toi. Envoi du sitemap le 3 octobre, le robot était passé la veille, où mon site était encore en no index, et a passé une partie de mon site en erreur no index. Depuis aucun nouveau passage malgré les envois de sitemap, les liens internes etc. En espérant que la demande d'indexation se déverrouille début 2021
 
Olivier Duffez (admin)
Membre du personnel
Google a dit qu'elle allait bientôt revenir, mais c'est clairement une solution "de secours". Si Google ne veut pas crawler/indexer, c'est que le site lui est inconnu, ou bien qu'il ne lui accorde pas encore assez d'importance.
 
Nouveau WRInaute
J'ai un site datant de 2016.

Souvent un lien inexistant qui revient, avec le profil suivant monsite.fr/?cat=12


Je n'ai aucun problème d'indexation. Je mène d'ailleurs actuellement un plan pour dynamiser mon site.



F. Hachemi

Bon. Ça fait déjà une semaine que j'ai mis à jour un de mes articles dont la meta-description. Google ne l'a toujours pas actualisé.

Rien de surprenant. Je confirme juste que lorsqu'on met du temps à actualiser son site, à publier du nouveau contenu, Google passe moins.

Si vous créez très régulièrement, Google passera régulièrement

L'inverse, Google passera moins souvent.

C'est peut-être évident pour certains d'entre-vous, dont Notre serviteur Webrankinfo Admin, mais si d'autres avaient des doutes, je confirme par mon test, connaître les deux cas de figures.

Je m'inquiète pas. Google va passer et actualiser tout ça. Tchuss :)

Je connais tous les cas de figures : nouvelles ou anciennes pages indexées rapidement / anciennes pages actualisées indexées rapidement ou lentement. Ça dépend vraiment. Consultez le dossier pour plus d'infos.
 
Dernière édition:
WRInaute discret
C'est reviendu !!!!! Joyeux noël :)
Je dois pas être le premier à m'en apercevoir, mais le premier truc que je fais c'est venir partager l'info sur ce post.

upload_2020-12-26_23-49-8.png

upload_2020-12-26_23-49-34.png
 
WRInaute accro
Mais pourquoi autant d'effervescence autour de ce formulaire d'indexation ?
Dites-moi si je me trompe mais soumettre son sitemap, ce n'est pas le but pour indexer ?

Mon sitemap est dynamique. Je l'ai soumis à la création du site. Google connait l'url et maintenant à chaque nouvelle page indexable, mon sitemap se peuple. Je n'ai pas à relancer google à chaque fois.

Mes pages s'indexent sans prob
 
Olivier Duffez (admin)
Membre du personnel
parce que parfois des pages indexables (éventuellement listées dans un sitemap) ne sont pas indexées
une solution consiste à utiliser cet outil, même si l'indexation n'est pas garantie
 
WRInaute accro
Alors que penser de forcer la soumission malgré le sitemap ?
Si google ne veut pas indexer une page identifiée dans le sitemap, il y a logiquement une raison qui n'est pas forcément liée à un prob de sa qualité.
 
WRInaute discret
Peut être que vous n'avez pas rencontré le problème de voter côté.
Depuis 2 mois certains sites souffraient de l'absence totale de possibilité d'indexer des pages.
Cela concernait pas tous les sites, seulement certains. Pour ceux que cela impactait, au bout d'un moment c'est inquiétant et pénalisant car on avance pas.

Voilà pour expliquer que le jeu ne consistait pas à forcer la main, mais à simplement trouver un moyen d'indexer alors que cela n'était plus possible depuis environ 10 semaines. Quand on lance un nouveau site, ou qu'on ajoute de nouvelles pages stratégiques, c'est vite enquiquinant :)
 
WRInaute discret
Bonjour

De mon côté gros bug d'indexation sur les images qui passent en "anomalies lors de l'exploration" et dont l'URL est composé...de plusieurs url dont certaines ne sont pas de mon site.. !
 
WRInaute discret
Je pense que c'est un problème différent. Crée peut être un nouveau sujet, et donnes y des exemples pour concrétiser ce qu'on doit comprendre
 
WRInaute discret
Hello,

Juste comme un ça ... sur un autre de mes sites ce soir je constate que le bouton pour demander l'indexation est à nouveau grisé (comme j'avais aucun souci sur ce site, je suis pas en mesure de dire si le bouton en question avait disparu avant ou pas).

Plus tordu: je me suis connecté à la search console ce soir parce qu'un mail m'indiquait un problème de couverture !

C'est la première fois que je vois ça : la search console voit 3 pages non indexé (en indiquant que c'est le fichier robots.txt qui les bloque).

  • Hors le fichier robots.txt ne les bloque pas !
  • Les pages sont toutes en index/follow ...
  • Et cerise sur le gâteau, les pages sont bien indexées ! (je les retrouve simplement avec un site:url).

Bref, c'est limite o_O

PS : des fois que ça aide dans la compréhension : il s'agit uniquement de pages publiées mais inaccessible depuis le menu et navigation du site. La search console les a découvert via mon sitemap.xml
 
WRInaute discret
Pas ici non :) à la limite en MP.
Tu vas regarder si je sais lire le robots.txt et la balise meta en question ?
 
Olivier Duffez (admin)
Membre du personnel
si tu postes ça ici, et vu que la situation ne semble pas normale, je suppose qu'un avis extérieur te serait utile
si tu trouves ça vraiment saugrenu qu'un membre du forum cherche à t'aider à mieux comprendre, alors laisse tomber ce n'est pas grave :)
 
WRInaute discret
Je viens essentiellement partager une expérience avec la communauté.
Je ne trouve rien de saugrenu rassure toi :cool:

Accessoirement l'aide est toujours la bienvenue, mais comme ça vient pas du meta (index/follow) et du robots.txt, que la search console indique que c'est pas indexé alors que ça l'est ... je pense que c'est surtout une situation inattendue et j'attends pas une info qui aurait pu m'échapper ... mais on sait jamais !

J'ai rien contre l'idée de partager l'url en MP comme je le proposais précédemment.
 
Nouveau WRInaute
Bonjour à tous !
Pour mon site, tout allait bien jusqu'au mois d'Octobre et depuis ... patatra Google ne veut plus indexer mes pages ...
Quelqu'un aurait une idée .
Merci d'avance

upload_2021-1-15_15-34-16.png


upload_2021-1-15_15-34-50.png

upload_2021-1-15_15-35-29.png


upload_2021-1-15_15-35-56.png
 
WRInaute impliqué
@L'Atelier d'Azur, je ne pense pas que ce soit lié au problème général d'indexation de Google observé fin 2020, mais sûrement à un problème propre à ton site.

Je pense que tu devrais créer un sujet spécifique.

Et regarde la manière dont Google explore l'URL, il suppose que c'est une soft 404, peut-être certains composants sont-ils mal récupérés par le robot d'exploration ?
 
Discussions similaires
Haut