Problèmes d'indexation de Google fin 2020

[WebRankInfo]

Vous avez certainement entendu parler ces derniers temps des bugs de Google concernant l'indexation. D'ailleurs, on en a déjà parlé ici dans quelques discussions. Et dans Search Console on ne peut plus demander l'indexation d'une URL (c'est désactivé)...

Google est le champion de l'IA, mais ne saurait plus indexer correctement les pages qu'il crawle ?

Il y a du vrai, mais d'après mes premières analyses, je pense qu'il y a une raison bien plus importante qui explique pourquoi certaines pages ne sont pas indexées : Google ne veut plus forcément indexer tout ce qu'on lui donne. Ca va même plus loin : il semble avoir une façon de prédire si ça vaut le coup de crawler des pages d'un site.

EDIT 1 : plutôt que de poursuivre sur cette discussion, lisez plutôt mon dossier sur le crawl prédictif de Google.

EDIT 2 : Le 22 décembre, Google a annoncé (enfin) que cet outil est remis en service. Mais ça ne change pas vraiment les choses, car ça n’est qu’un outil de dépannage. En effet, vos pages ne devraient pas avoir besoin de ça pour être (rapidement) indexées.

Je suis en train d'affiner les choses et d'essayer de valider des hypothèses. Je me suis dit qu'il serait intéressant de centraliser les discussions alors je vous propose quelques questions :

• Est-ce que vous aussi vous avez des problèmes avec l'indexation Google ? Est-ce que ça concerne certains types de sites, ou de pages ? Est-ce que ça arrive sur des sites où vous n'aviez habituellement pas de problèmes ?
• Ou bien est-ce que vous ne vous êtes rendu compte de rien ?
• Ou bien vous ne savez pas comment on peut le savoir ou l'étudier ?

Je regroupe la discussion ici sur le forum (ainsi que sur LinkedIn) afin de rassembler des infos et des retours d'expérience. Je ne sais pas encore ce que je pourrai en faire mais j'essaierai de faire une petite synthèse.

Merci d'avance pour votre participation ici ou là-bas !
Vous pouvez aussi me contacter en privé.

Je termine par les explications actuelles de Google...

Selon Google (source), la fonction "Demander une indexation" de l'outil d'inspection d'URL a été désactivée afin d'effectuer certaines mises à jour techniques. Quand Google l'a annoncé le 14 octobre dernier, c'était censé être réactivé "dans les prochaines semaines". Google rappelle que le crawl et l'indexation continuent par des des méthodes habituelles.

Voici les conseils de Google pour favoriser/optimiser le crawl (source) :

• Transmettre un sitemap
• Envoyer une demande d'exploration de pages individuelles (ce n'est pas possible en ce moment...)
• Utiliser des chemins d'URL simples, intelligibles et logiques pour vos pages, et avoir des liens internes clairs et directs sur le site.
• Identifier clairement la page canonique et les autres pages
• Utiliser hreflang pour renvoyer les internautes vers d'autres versions linguistiques de votre page.
• Utiliser le fichier robots.txt judicieusement, pour indiquer à Google les pages à explorer en priorité afin de protéger la charge du serveur, et non comme moyen de bloquer l'affichage de contenu dans l'index Google.
• Si vous spécifiez des paramètres d'URL sur votre site pour la navigation (par exemple, si vous indiquez le pays de l'utilisateur sur un site d'achat mondial), utilisez l'outil Paramètres d'URL pour signaler à Google les paramètres importants.
• Assurez-vous que Google peut accéder aux pages clés, ainsi qu'aux ressources importantes (images, fichiers CSS, scripts) nécessaires pour afficher correctement la page.

Actuellement, il est clair que ça ne suffit plus. Avoir des backlinks aide beaucoup, ou plus généralement avoir un site populaire.

 

[yule]

Hello,

Alors de mon côté..

Pour commencer, au mois d'octobre et début novembre, j'ai eu une très grosse activité du bot adsense sur mes recherches qui sont pourtant en noindex, nofollow. Il a testé pas loin de 80'000 combinaisons de termes sur mon moteur ! Pourquoi, je sais pas ! D'autant qu'il n'y aucune pub sur mon site...

Mes articles sur mon blog sont vu assez vite mais souvent depuis 2 mois ==> Explorée, actuellement non indexée

Couvertures : Passablement de suppression mais assez logique me semble-t-il. J'avais fait un redirection qui a pris beaucoup de temps avant sa réaction.. cependant, il me semble que ça nettoie plus en profondeur..

Exclue par la balise "noindex" : les pages Commence a être supprimées, ce qui n'était pas le cas auparavant

Fil d'Ariane , logos, sitemaps etc..: Tout es ok

Toutefois et ce qui me trouble le plus , c'est la piètre qualité de la pertinence sur les recherches..

Bonne bonne
Yule

 

[yule]

Mais attention, j'oubliais... Ce qui est mentionné sous la rubrique couverture ==> Explorée, actuellement non indexé N'est pas du tout à jour ! Quelques pages listées sont bien présentes dans les résultats de google

Ci-dessous, juste pour montrer depuis quand ca commencé..

 

[u319347]

Depuis un an les améliorations SEO sont en cours sur un de mes projets, je ne constate pas d'anomalies avec un journal d'information de plus de 200 articles en 12 mois. Juste un petit effet yoyo sans conséquences négatives.

Juste un truc bizarre, les pages sont considérées comme lentes par la Google Search Console même sur ordinateurs, alors que Pagespeed insights est au vert pour les ordinateurs.

Aussi, le journal a très peu de backlinks, mais il grimpe dans les SERP's quand même de semaines en semaines.

Ce journal est pas mal partagé sur les réseaux sociaux (50% environs des lectures proviennent de Facebook et Twitter, Direct, le reste vient de Google.

En clair, rien d'anormal chez moi...

 

[u319347]

Je confirme aussi chaque nouvel article avec Google Mobile Friendly : https://search.google.com/test/mobile-friendly

Mes pages sont très vite indexées, quelques heures.

 

[u319347]

Ce genre de chose m'arrive très très rarement sans aucune raison :

 

[WebRankInfo]

merci pour ce retour

 

[Fred LL]

Bonjour,

J'ai un site d'actu foot. Mes articles sont habituellement indexés sur google et google news en 5 minutes maxi. Mais j'ai remarqué depuis quelques semaines que certains articlent mettent jusqu'à 12 voire 24h pour être indexés alors que tous les voyants sont au vert dans la search console.

 

[WebRankInfo]

c'est embêtant en effet. Ces pages sont ce que j'appelle "techniquement indexables", mais qu'en est-il de leur valeur ajoutée ? de leur contenu ?

 

[Fred LL]

Ce matin aucun article indexé de 9h30 à 12h. Celui de 12h20 est passé sans encombre, indexé très rapidement, est pas forcément mieux en longueur et valeur ajoutée.

Concernant la valeur ajoutée j'ai parfois du mal à comprendre l'algo de google. A titre d'exemple, voici un article d'un site de foot qui arrive régulièrement à placer ses articles en Une et cela assez rapidement : https://www.hommedumatch.fr/article...relancee-pour-la-succession-de-garcia_2491391

On ne peut pas dire que cela soit exceptionnel en terme de VA

 

[animostab]

J'ai eu plusieurs vagues de pages détectées et non indexées

- Des pages qui n'existent pas mais détectées on se demande pourquoi
- Des pages qui avaient été supprimées et remplacées avec une redirection
- Des pages qui existent mais dont l'url est farfelue sur la search console
- Des url de vidéos (site.com/repertoirevideo/mavideo.mp4) mais pas les pages ou sont visionnables les vidéos.
-Des url farfelues qui ne correspondent à rien, on se demande si l'IA de GG n'a pas fait de la physique quantique au moment de pondre ces détections de pages.

Evidemment aucune de ces "pages ou url" détectées ne sont dans mon sitemap

Sinon aucune url légitime n'a été désindexée.

 

[WebRankInfo]

ah ça fait bcp de choses étranges en effet ! mais l'essentiel dans ton cas est qu'aucune page importante ne soit exclue de l'indexation

 

[Røi]

Je gère environ 1000 sites web.
Cela fait un moment que j'ai remarqué une déliquescence de l'indexation de Google, mais surtout de la désindexation, or balourder le robots.txt d'un côté et ne plus désindexer les problèmes, ça crée du problème.
Autre information, Google a, depuis un mois environ, procédé à un déménagement de son infrastructure, et avait annoncé que l'indexation (et la désindexation) allait être sous une forme (ne me demandez pas comment) en standby. Et je ne sais pas si ce process est toujours en cours.

 

[WebRankInfo]

Peux-tu nous rappeler la source de cette info ? je parle du déménagement car pour l'indexation je suppose que tu fais référence à ce que j'indique dans mon post

 

[emualliug]

Pas de gros problème systémique, mais quelques couacs peu explicables. J'ai notamment quelques articles (peu, deux ou trois, un seul à l'heure actuelle) rétifs à l'indexation ("exploré, non indexé"), sans raison particulière (mis à part un, mais ce n'est pas celui qui est absent de l'index en ce moment), ils sont dans la même veine que les autres articles du site qui n'ont pas de soucis.

Par contre l'indexation a toujours été lente chez moi, en fait, le crawl est erratique. Un article publié il y a une semaine n'a toujours pas été crawlé, alors que d'autres écrits postérieurement l'ont été. Google a accès une sitemap, et il la consulte un peu quant ça lui chante. À l'inverse, il crawle assez régulièrement certains articles qui, certes, attirent plus de visite en recherche naturelle, mais n'ont pas du tout été modifiés.

En comparant avec Bing (qui pourtant n'a pas accès à la sitemap), je trouve que Bingbot a un crawl bien plus performant.

 

[WebRankInfo]

Merci pour ce retour assez précis. Est-ce que ça ne concerne qu'un seul site ? Ce site a-t-il des bonnes performances SEO, régulièrement ? des manques de qualité sur certaines parties ou pages ?

 

[emualliug]

En l’occurrence, un seul site.

Je manque clairement de recul pour bien évaluer la performance SEO dans l'absolu, mais globalement, performances correctes : le visibility index est de l'ordre de 0,03, plusieurs top position sur des requêtes qui ne sont pas relatives à la marque, un trafic depuis la recherche naturelle en hausse notable (et constante).

SEO on site exclusivement, quasiment pas de backlink (genre deux ou trois si on vire exclue les liens pourris que Google ignore de toute façon). Pas trop de doute sur la qualité des pages, l'essentiel des pages sont des articles dont le contenu est original, et (quoique ce soit subjectif) de qualité, leur longueur est variable, ça va de quelques centaines de mots à 5 000 (la moitié des articles sont à plus de 500 mots). Toutes les pages de "navigation" (liste des articles, sauf la première, liste des catégories, articles triés par catégorie, etc.) sont en no-index.

Par contre thématique très YMYL, mais je vois plus ça comme un avantage concurrentiel, le EAT est bon.

 

[WebRankInfo]

le visibility index est de l'ordre de 0,03

désolé mais on ne sait pas de quoi tu parles, peux-tu préciser à quoi ça correspond et comment tu le mesures ?

 

[emualliug]

https://app.sistrix.com/fr/visibility-index

 

[Lawrencefdn]

J'ai un site datant de 2016.

Souvent un lien inexistant qui revient, avec le profil suivant monsite.fr/?cat=12

Je l'ai supprimé dans la search console, mais il est revenu 1 fois dans

Couverture > Erreur liée à des redirections

Ben... vu que je peux pas supprimer concrètement une page qui n'existe pas, je ne fais que la supprimer de la search console, dans les "suppressions temporaires". Je vais voir s'il me le redemande dans le temps.


Points positifs, il y en a. Je n'ai aucun problème d'indexation. Je mène d'ailleurs actuellement un plan pour dynamiser mon site.

J'alterne nouvel article et refonte d'ancien article. Je fais ça depuis environ 2 mois. Beaucoup de boulot, mais...

Apparemment, Google m'apprécie, car mes articles sont indexés en quelques heures, voire en 1 h. De même, la mise à jour d'un ancien article est pris en compte. Je le vois à la nouvel meta-description que je mets.

Je progresse sur quelques mots-clés et mes revenus connaissent une augmentation régulière, bien que légère. Je compte mener cette action sur un champ lexical précis.

Ce qui m'amène à dire qu'à ce niveau, j'en ai marre de faire la recherche et la course aux backlinks.

Après avoir commencé une campagne, j'ai tout mis à l'arrêt. J'ai un peu peur de me faire attraper, puis ça demande de l'organisation, du boulot, de la finesse, des frais, etc.

Je vais donc voir si grâce à la création de contenu autour du champ lexical, je vais pas susciter des liens naturels, tout simplement. En tout cas, je progresse bien dans les résultats. Je suis donc satisfait, globalement.

Tant qu'à mettre de l'énergie, autant en mettre dans la création d'article.

Voilà, bonne journée.

F. Hachemi

 

[123boost]

Hello,

Même constat de mon côté. Au début cela m'a inquiété car je pensais qu'un élément basic échappait à mon analyse de la situation.

Je pense avoir tout fait, pourtant des pages principales sont pas indexées (le site est récent).
J'étais sur un WordPress dont les principales pages étaient indexées, et ayant de nombreuses modifications à réalisé, j'ai bloqué l'indexation du site (ce qui m'a passé toutes les pages en noindex).

Depuis 1 mois et demi, la search console les voit toujours en noindex alors que rien ne limite leur accès.

Je pense avoir tout fait, du maillage, au netlinking en passant par le sitemap, rien n'y fait, elles restent inconnues de l'index.

La fonctionnalité "tester l'url en direct" m'indique d'ailleurs bien qu'il n'y a pas de problème.

J'ai bon espoir pour que la fonction d'ajout à l'index revienne.
Personnellement quand Google dit "quelques semaines" j'entends plusieurs mois et surtout le fait que "cela devrait revenir".

J'ai jamais connu cette situation et comme beaucoup, ça commence à me courir.
Seul refuge : c'est pour tout le monde pareil et ça met pas en défaut les pratiques courantes que tout le monde mène correctement.

 

[123boost]

Olivier, c'est quoi vos hypothèses ?
C'est sympa on partage tous notre expérience les uns avec les autres, mais pour ne pas juste empiler le fait qu'on rage tous, cela serait intéressant de connaître vos hypothèses

 

[WebRankInfo]

J'ai déjà donné le début de la réponse dans mon post. Je l'ai complété au travers de commentaires ici ou surtout sur LinkedIn. Je finalise mes recherches et tests, je ferai un retour d'ici quelques jours.

En gros, Google semble utiliser du machine learning pour apprendre sur un site donné (ou un type de pages), si généralement quand il vient crawler une page, il a bien fait car derrière il la trouve assez intéressante pour l'indexer. Et si ce n'est pas le cas... alors il se "note dans un coin" que le crawl du site doit être réduit !

 

[u319347]

Google chez moi c'est le contraire, il indexe trop, et dans le trop des pages sans intérêts que j'ai supprimé. Au total 1300 pages que j'ai retiré de Google sur la search console.

Je teste en ce moment la suppression des pages zombies et de la pagination Après une grosse chute dans les SERP de Google suite aux tests, ça commence à redevenir normal. J'attends la prise en compte de tous les changements par Google, ça tarde un peu, mais ça suit son cours.

 

[123boost]

Dans mon cas : site de moins de 10 pages, et parmi les pages qui "refusent" de s'indexer : il s'agit que des pages qui contiennent le plus de contenu (des textes soignés et structurés). Impossible que l'algo décide que ces pages aient zéro intérêt.

Le fait que l'action manuelle d'indexation soit bloquée en dit peut être plus long qu'il n'y paraît.
Pourquoi nous interdire cette opération si ce n'est qu'un gros changement se trame derrière ...

J'ai du mal à digérer la piste du "google décide si le contenu vaut la peine ou pas" (autant je suis d'accord si par comparaison Google trouvait que certaines pages avaient des taux de similarités trop élevés...).

 

[WebRankInfo]

ces pages ont-elles été crawlées ?

 

[123boost]

ces pages ont-elles été crawlées ?

Initialement, j'imagine que oui, étant donné que ce qui les a mis en "noindex" découlait de ma volonté de bloquer ces pages à l'indexation, courant septembre.

 

[WebRankInfo]

ok. c'est étonnant d'avoir désindexé des pages juste parce que tu avais des grosses modifs à faire.
et donc il ne veut plus revenir crawler ces pages ?

 

[123boost]

Il veut pas revenir crawler c'est ça.
Même problème avec un autre site, où j'ai cloné le WP de dev en oubliant de retirer la blocage du crawl.

 

[WebRankInfo]

quand c'est ça, pour un petit site, c'est sans doute le manque de notoriété (backlinks) et me fait que ce soit rare que Google ait besoin de lui allouer des ressources.

renvoyer un nouveau sitemap (nouvelle URL) peut aider
obtenir des backlinks aussi

 

[123boost]

J'ai tenté le sitemap déjà, il voit bien les urls mais continue de bouder.
En désespoir, j'ai commencé aussi à publier quelques articles pour engager le netlinking (puisque ça figure dans la liste de ce qui peut provoquer l'indexation)

 

[123boost]

(...) Je finalise mes recherches et tests, je ferai un retour d'ici quelques jours. (...)

Cela m'intéresse d'avoir ton retour.

Bon alors ? côté solution pour quand même indexer une poignée de pages ?
Tu nous dis ? ou faut aller acheter le tuto vidéo pour connaître les secrets

 

[WebRankInfo]

J'ai donné des explications dans mon article sur le crawl prédictif et je propose effectivement un tuto pour celles et ceux qui veulent aller plus loin.

 

[qtrp]

Bonjour,

123boost je rencontre exactement le même problème de A à Z en ayant fait exactement la même manip que toi. Envoi du sitemap le 3 octobre, le robot était passé la veille, où mon site était encore en no index, et a passé une partie de mon site en erreur no index. Depuis aucun nouveau passage malgré les envois de sitemap, les liens internes etc. En espérant que la demande d'indexation se déverrouille début 2021

 

[WebRankInfo]

Google a dit qu'elle allait bientôt revenir, mais c'est clairement une solution "de secours". Si Google ne veut pas crawler/indexer, c'est que le site lui est inconnu, ou bien qu'il ne lui accorde pas encore assez d'importance.

 

[Lawrencefdn]

J'ai un site datant de 2016.

Souvent un lien inexistant qui revient, avec le profil suivant monsite.fr/?cat=12


Je n'ai aucun problème d'indexation. Je mène d'ailleurs actuellement un plan pour dynamiser mon site.



F. Hachemi

Bon. Ça fait déjà une semaine que j'ai mis à jour un de mes articles dont la meta-description. Google ne l'a toujours pas actualisé.

Rien de surprenant. Je confirme juste que lorsqu'on met du temps à actualiser son site, à publier du nouveau contenu, Google passe moins.

Si vous créez très régulièrement, Google passera régulièrement

L'inverse, Google passera moins souvent.

C'est peut-être évident pour certains d'entre-vous, dont Notre serviteur Webrankinfo Admin, mais si d'autres avaient des doutes, je confirme par mon test, connaître les deux cas de figures.

Je m'inquiète pas. Google va passer et actualiser tout ça. Tchuss

Je connais tous les cas de figures : nouvelles ou anciennes pages indexées rapidement / anciennes pages actualisées indexées rapidement ou lentement. Ça dépend vraiment. Consultez le dossier pour plus d'infos.

 

[123boost]

C'est reviendu !!!!! Joyeux noël
Je dois pas être le premier à m'en apercevoir, mais le premier truc que je fais c'est venir partager l'info sur ce post.

 

[passion]

Mais pourquoi autant d'effervescence autour de ce formulaire d'indexation ?
Dites-moi si je me trompe mais soumettre son sitemap, ce n'est pas le but pour indexer ?

Mon sitemap est dynamique. Je l'ai soumis à la création du site. Google connait l'url et maintenant à chaque nouvelle page indexable, mon sitemap se peuple. Je n'ai pas à relancer google à chaque fois.

Mes pages s'indexent sans prob

 

[WebRankInfo]

parce que parfois des pages indexables (éventuellement listées dans un sitemap) ne sont pas indexées
une solution consiste à utiliser cet outil, même si l'indexation n'est pas garantie

 

[passion]

Alors que penser de forcer la soumission malgré le sitemap ?
Si google ne veut pas indexer une page identifiée dans le sitemap, il y a logiquement une raison qui n'est pas forcément liée à un prob de sa qualité.

 

[123boost]

Peut être que vous n'avez pas rencontré le problème de voter côté.
Depuis 2 mois certains sites souffraient de l'absence totale de possibilité d'indexer des pages.
Cela concernait pas tous les sites, seulement certains. Pour ceux que cela impactait, au bout d'un moment c'est inquiétant et pénalisant car on avance pas.

Voilà pour expliquer que le jeu ne consistait pas à forcer la main, mais à simplement trouver un moyen d'indexer alors que cela n'était plus possible depuis environ 10 semaines. Quand on lance un nouveau site, ou qu'on ajoute de nouvelles pages stratégiques, c'est vite enquiquinant

 

[passion]

Avez-vous aussi remarqué que la correction d'erreurs dans la search console n'était pas actuellement possible ?


https://support.google.com/webmasters/answer/9844677

 

[123boost]

Ha ! ça y est ! vous êtes

 

[Strummer19]

Bonjour

De mon côté gros bug d'indexation sur les images qui passent en "anomalies lors de l'exploration" et dont l'URL est composé...de plusieurs url dont certaines ne sont pas de mon site.. !

 

[123boost]

Je pense que c'est un problème différent. Crée peut être un nouveau sujet, et donnes y des exemples pour concrétiser ce qu'on doit comprendre

 

[123boost]

Hello,

Juste comme un ça ... sur un autre de mes sites ce soir je constate que le bouton pour demander l'indexation est à nouveau grisé (comme j'avais aucun souci sur ce site, je suis pas en mesure de dire si le bouton en question avait disparu avant ou pas).

Plus tordu: je me suis connecté à la search console ce soir parce qu'un mail m'indiquait un problème de couverture !

C'est la première fois que je vois ça : la search console voit 3 pages non indexé (en indiquant que c'est le fichier robots.txt qui les bloque).

• Hors le fichier robots.txt ne les bloque pas !
• Les pages sont toutes en index/follow ...
• Et cerise sur le gâteau, les pages sont bien indexées ! (je les retrouve simplement avec un site:url).

Bref, c'est limite

PS : des fois que ça aide dans la compréhension : il s'agit uniquement de pages publiées mais inaccessible depuis le menu et navigation du site. La search console les a découvert via mon sitemap.xml

 

[WebRankInfo]

peux-tu indiquer les URL ?

 

[123boost]

Pas ici non à la limite en MP.
Tu vas regarder si je sais lire le robots.txt et la balise meta en question ?

 

[WebRankInfo]

si tu postes ça ici, et vu que la situation ne semble pas normale, je suppose qu'un avis extérieur te serait utile
si tu trouves ça vraiment saugrenu qu'un membre du forum cherche à t'aider à mieux comprendre, alors laisse tomber ce n'est pas grave

 

[123boost]

Je viens essentiellement partager une expérience avec la communauté.
Je ne trouve rien de saugrenu rassure toi

Accessoirement l'aide est toujours la bienvenue, mais comme ça vient pas du meta (index/follow) et du robots.txt, que la search console indique que c'est pas indexé alors que ça l'est ... je pense que c'est surtout une situation inattendue et j'attends pas une info qui aurait pu m'échapper ... mais on sait jamais !

J'ai rien contre l'idée de partager l'url en MP comme je le proposais précédemment.

 

[WebRankInfo]

tu peux créer un MP sur https://www.webrankinfo.com/forum/conversations/

 

[L'Atelier d'Azur]

Bonjour à tous !
Pour mon site, tout allait bien jusqu'au mois d'Octobre et depuis ... patatra Google ne veut plus indexer mes pages ...
Quelqu'un aurait une idée .
Merci d'avance

 

[L'Atelier d'Azur]

la page en question ...
https://www.latelierdazur.com/colli...lier-coeur-argent-orne-de-cristaux-femme.html

 

[emualliug]

@L'Atelier d'Azur, je ne pense pas que ce soit lié au problème général d'indexation de Google observé fin 2020, mais sûrement à un problème propre à ton site.

Je pense que tu devrais créer un sujet spécifique.

Et regarde la manière dont Google explore l'URL, il suppose que c'est une soft 404, peut-être certains composants sont-ils mal récupérés par le robot d'exploration ?

 

[123boost]

la page en question ...
https://www.latelierdazur.com/colli...lier-coeur-argent-orne-de-cristaux-femme.html

Pas tout compris à ton code HTML dont la présentation est pour moi assez inattendue.
Toutefois je note la présente d'un "noindex" mais bon ça ressemble pas à la balise habituelle, donc difficile de me prononcer.