Astuce pour savoir si son site est en index mobile-first Google

[WebRankInfo]

Google prépare la bascule vers son index mobile-first : tous les sites ne vont pas y passer en même temps.
J'ai rédigé une astuce qui explique comment savoir si son site est passé en index mobile-first.

Parmi les sites que je gère, ou ceux de mes clients, je n'ai pas encore rencontré de site passé à l'index mobile de Google, et vous ?

 

[doyz17]

Ce qui bizarre, c'est quand regardant mes logs (côté serveur OVH), je n'ai jamais eu de passage du bot mobile de Google...

 

[spout]

@doyz17 ton analyseur de log ne prend p-e pas en compte la différence des 2 Googlebot (celui avec mobile en plus dans le string du UA, mais qui s'appelle qd même Googlebot).

1/ grep '66.249.' MyLogFile.log |grep Googlebot|grep -v ' Mobile '|wc -l
2/ grep '66.249.' MyLogFile.log |grep Googlebot|grep ' Mobile '|wc -l
If 2 > 1 => You are Index Mobile First

Src: https://twitter.com/Quentin_Adt/status/942679986636513280

 

[doyz17]

Ah OK merci Spout. Etant sur un mutu chez OVH, je peux pas vérifier plus...

 

[spout]

@doyz17 : si en les téléchargeant: https://docs.ovh.com/fr/hosting/mutualise-consulter-les-statistiques-et-les-logs-de-mon-site/

 

[doyz17]

@spout : Merci, j'avais pas vu.

Bon en même temps, les logs sont journaliers. Je n'ai pas envie de tout me taper un par un...

 

[spout]

grep permet de chercher dans plusieurs fichiers à la fois donc pas de souci.

 

[Elogia]

Bonjour, Personnellement pour surveiller cette migration je regarde les deux sitemaps : "Pages Web" et "Mobile". Bien que depuis des mois je suis 100% mobile first, et que 100% des url du sitemap sont <mobile:mobile/>, toutes les url indexées sont dans le sitemap "Pages Web", aucune donc dans le sitemap "Mobile". Le chiffre de urls envoyées est exactement le même pour les deux (4.791.798 urls). Il semble effectivement que le robot mobile soit quasi absent des clients bots, mais je vais surveiller cela aussi.

Donc apparemment le moment n'est pas encore venu pour moi de figurer dans l'index mobile-first.

 

[passion]

J'imagine que cela se fera durant le 2ème semestre de cette année. Laisser 6 mois aux webmasters retardataires pour faire les modifs nécessaires (full responsive).

 

[WebRankInfo]

@Elogia : ton site est sur des URL séparées pour la version mobile ?

 

[Elogia]

Non, il n'y a pas d'url séparées pour la version mobile. Il n'y a qu'une version, d'abord optimisée pour les smartphones, et parfaitement identique sur l'ordinateur et son imprimante.

 

[WebRankInfo]

Dans ce cas je ne vois pas pourquoi tu as 2 sitemaps ?

 

[Elogia]

Il n'y a qu'un sitemap index. Il génère toute la journée des sitemaps qui regroupent par heure les rafraîchissements permanents de pages que génère ma base de données, environ 50.000 par jour. Il y a encore une poignée d'une soixantaine pages non destinées aux smartphones dans ce site. Mais c'est Google qui décide qu'il scinde en deux points de vue différents le contenu que je destine aux mobiles d'abord, ce n'est pas moi.

Lui il charge des pages conçues en html pour mobile, en prend connaissance sur des sitemaps contenant uniquement des url <mobile:mobile/>, et les place dans le volet "Sitemap Web", dont il indexe une partie. Puis en même temps il crée de sa propre initiative un volet "Sitemap Mobile" contenant les mêmes url, mais n'en indexe pas une seule. Et pourtant il en crawle 2 à 300.000/jour et a fait plusieurs fois le tour du stock ces derniers mois.

C'était déjà comme ça ces deux dernières années, y compris après le fameux mois d'avril 2015. Et ça l'est encore aujourd'hui, tandis que tout est passé en https. La migration se fait progressivement, et le transfert d'index se constate depuis la propriété std du domaine vers sa propriété SSL.

 

[WebRankInfo]

des sitemaps contenant uniquement des url <mobile:mobile/>

un sitemap pour site responsive n'a pas besoin d'indiquer ça, n'est-ce pas ?

 

[Elogia]

Justement, mon site est tout sauf responsive. Il est mobile-first, et comme je l'indique plus haut, l'ordinateur voit exactement la même chose. Compte tenu des suggestions de Google pour être très rapide, il n'y a pas une seule url externe allant chercher un doc CSS ou JS, la fameuse ligne de flottaison. Le responsive est pour moi un hybride qui ralentit considérablement le temps d'affichage, et consomme beaucoup d'énergie. J'ai donc fait ce choix, et je ne regrette pas du tout, car le but final c'est quand même d'avoir le plus d'informations et de fonctions possibles sur la plus petite surface possible tout en respectant les contraintes dues à la taille d'un doigt.

 

[WebRankInfo]

Ton choix se défend tout à fait, aucun problème là-dessus. Je suppose même qu'il est agréable à utiliser.

Mais ça ne change rien à ma question : si tu as les mêmes URL qu'on soit sur ordinateur ou sur mobile, pourquoi as-tu des sitemaps différents, ou en tout cas des indications spécifiques "mobile" pour certaines URL ? Je n'ai pas tout bien compris, désolé.

 

[Elogia]

Agréable j'espère, en tout cas la fameuse expérience utilisateur est importante pour l'utilisateur, donc pour moi, et apparemment google en tiendra compte. Mon souhait est de procurer en même temps de vraies navigations et de vrais formulaires capable de travailler, ce que je ne pense pas possible en responsive.

Mais pour en revenir à ta question, je me pose la même. Je n'ai aucune explication. C'est Google qui lit et place où il veut les urls de mes sitemaps. Mon html est sur optimisé mobile, mes url sitemaps sont 100% <mobile:mobile/>, et le test Google mobile friendly m'indique en moyenne 95% de compatibilité sur tous les formats du site. C'est bien un google agent mobile qui est utilisé.

À moins qu'il faille le déclarer quelque part dans "search console" je ne sais vraiment pas ce que je peux faire de plus. Mais cela illustre peut-être simplement la question d'origine : "Parmi les sites que je gère, ou ceux de mes clients, je n'ai pas encore rencontré de site passé à l'index mobile de Google, et vous ?".

Je réponds "pareil pour moi", mais je crois pourtant être prêt.

 

[WebRankInfo]

mes url sitemaps sont 100% <mobile:mobile/>

en fait, j'ai beau chercher, je ne trouve pas de spéc de Google indiquant de mettre ça dans un sitemap. Ou alors il s'agit de vieilles recommandations qui ne me semblent plus être d'actualité. Tu l'as mis dans ton sitemap au format XML ?
Si tu as les mêmes URL pour tous les appareils (ça semble bien être ton cas), alors tu fais un sitemap standard sans rien préciser concernant le mobile.

 

[Elogia]

en fait, j'ai beau chercher, je ne trouve pas de spéc de Google indiquant de mettre ça dans un sitemap

Honnêtement je n'ai pas souvenir précis des références de l'époque, car j'ai entamé cette démarche en 2013, peut-être Google n'en parle pas. Mais je cherche la compatibilité avec tous les moteurs. C'est un standard sitemap, convenu si ma mémoire est bonne entre les plus gros acteurs (google,bing,yahoo…). Il faut craindre comme la peste et le choléra associés, de ne dépendre que d'un moteur de recherche.

Les docs que je trouvais à l'époque disaient tous la même chose que ceci :
http://robots-txt.com/sitemaps/sitemap-mobile/

Et il m'avait semblé en effet que c'était une bonne chose d'orienter les robots déjà sur ce critère. À chacun ensuite de vérifier si le résultat correspond à la déclaration.

Quoi de plus franc, direct et dénué de la moindre ambiguïté, que cette déclaration <mobile:mobile/> ?

Le jour où Google propagera son nouvel index mobile-first, j'imagine que comme les autres j'y trouverai mon site.

 

[WebRankInfo]

Les docs que je trouvais à l'époque

ce n'est plus à jour semble-t-il, en tout cas je l'ai lu avant de te répondre, et en voulant aller voir la doc qu'ils citaient (Plus d'informations sur les sitemaps mobile sur la page "Ajout d'informations d'URL pour mobile dans un sitemap" sur l'aide pour les webmasters de Google.) j'ai vu que la page n'existe plus chez Google.
tu n'as pas à préciser que tes pages sont pour mobile, elles sont pour tous les appareils...

 

[Elogia]

tu n'as pas à préciser que tes pages sont pour mobile, elles sont pour tous les appareils

Merci pour cette indication. Étant donné que cela ne peut nuire (du moins je pense) peut-être que j'attendrai que Google affiche ses nouveaux index avant d'affiner mes sitemaps.

Il n'y a plus qu'à attendre.

 

[Elogia]

Bonjour, Pour compléter mes observations, j'ai comptabilisé les crawls de robots mobiles.

Sur 200.000 pages crawlées ces 15 dernières heures :
• 798 [0,004] -> Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

• 27 [0,001] -> Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

Et c'est tout. Le reste est crawlé par des robots classiques. Ce qui semble en accord avec le rapport search console, affichant un sitemap Pages Web comportant des urls indexées, et un sitemap Mobile sans aucune url indexée. Aujourd'hui le nombre total d'urls lues est de 5.174.520.

 

[Elogia]

Bonjour, Finalement lors d'une réécriture du code qui génère mes sitemaps, j'ai suivi la suggestion consistant à supprimer la balise <mobile:mobile/> accompagnant chaque url.

Ce qui me paraît intéressant est qu'immédiatement, le sitemap "Mobile" a commencé à plonger. Je savais qu'aucune des "Url envoyées" en mobile n'était indexée, mais le chiffre était strictement le même pour les deux (avec le sitemap "Pages web"). Le 19/01 il affichait 5.276.984 url, et ce matin 3.429.014, c'est net et rapide.

Je vais suivre cela de très près, et en toute logique ce sitemap va descendre à zéro page. Cela explique qu'il y avait deux sitemaps, dont un mobile, non indexé.

Mais j'ai un gros doute sur l'inutilité voire l'obsolescence de cette balise <mobile:mobile/>.

 

[Elogia]

Bonjour, C'est tous les 1/4 d'heure environ que le sitemap se met à jour, du moins sur mon compte.

Moins de 24 heures après mon précédent message le "Sitemap Mobile" [non indexé] est descendu à 2.845.290 urls depuis la suppression de la balise <mobile:mobile/>.

À suivre donc.

 

[Elogia]

Bonjour, Voilà c'est vidé, depuis ce matin il n'existe plus de sitemap Mobile sur mon compte.

Il est passé de plus de 5 millions d'url "envoyées" à zéro, en moins de deux semaines. Sa présence était due clairement à l'adjonction de la balise <mobile:mobile/> sur chaque url, comme suggéré il y a en effet quelques années sur divers sites de référence.

La totalité de mes pages étant 100% mobile first, cela ne change rien, du moins en apparence et pour l'instant, dans les résultats et positions.

Tout ce qu'il est donc possible d'affirmer, c'est qu'il existe bien un sitemap Mobile chez Google, qui n'est représenté en Search Console que si la balise <mobile:mobile/> caractérise les url "envoyées". Et il faut ajouter que jamais une seule url n'y a été indexée.

Disons que c'était pour moi un signal tangible de Google indiquant la recevabilité d'urls dans un sitemap Mobile, mais non encore indexées. Google était aussi pointilleux en constatant des erreurs et des défauts d'intégrité sur ce sitemap Mobile que sur le sitemap Classic.

Aujourd'hui j'en sais donc beaucoup moins, et 0,00175 des crawls de Google sont affectués par son Robot Mobile.

 

[WebRankInfo]

si j'ai bien compris, ce n'était utile que pour les sites avec des URL mobiles à part, ce qui paradoxalement n'était pas ton cas

0,00175 des crawls de Google sont affectués par son Robot Mobile

tu veux dire 0,00175% ou bien 1,75% ? dans les 2 cas ça fait très peu