Mobile first Googlebot

Savoir si l’index mobile-first de Google est en place pour son site

Question

J’ai lu que l’index mobile-first de Google n’est pas en place pour tout le monde, mais déjà pour certains sites. Comment vérifier si l’index mobile-first est appliqué à mon site ?

Réponse

Pour cela, il faut étudier vos logs pour voir si Google crawle votre site surtout avec son robot mobile ou fixe.

En effet, John Mueller (de Google) a expliqué le 15/12/2017 la chose suivante (source) :

  • jusqu’à présent (et encore pour la plupart des sites), le crawl d’un site par Google se fait majoritairement par le robot Googlebot desktop (ordinateur fixe)
  • la répartition est de l’ordre de 80% / 20%
  • si la majorité du crawl Google se fait en mobile, alors votre site est analysé en mobile-first

Regardez le passage à 3’40 » dans la vidéo ci-dessous :

Comment étudier les logs pour savoir si l’index mobile-first est en place pour un site ?

Une solution est d’utiliser un outil d’analyse de logs et de regarder avec quelle version de Googlebot votre site est crawlé.

C’est également possible en quelques commandes si vous avez accès à vos logs. Merci à Julien de nous avoir donné un exemple de commandes :

grep Googlebot access.log | awk -F\" '{print $6}' | sort | uniq -c  

Quelques explications :

  • cette commande est à faire en ligne de commandes (shell) sur votre serveur
  • access.log est le nom du fichier de logs à étudier : à vous d’adapter ici avec le chemin et le nom complet
  • -F\" indique que le séparateur entre les champs du fichier logs est une apostrophe : à adapter selon votre cas
  • $6 indique que le nom d’agent (User-Agent) est le 6ème champ de chaque ligne : à adapter aussi
  • en résultats, vous aurez plusieurs lignes (pour chaque nom d’agent incluant « Googlebot »), avec le nombre de lignes au début.
  • Vous devriez voir que 2 lignes se détachent, à savoir les 2 crawlers principaux (officiels) de Google. Si vous voyez que celui qui est le plus présent est le mobile, alors c’est que Google se base sur votre version mobile pour évaluer votre site.

Voici par exemple les 2 principaux User-Agents de Googlebot que j’ai obtenus pour un site :

306774 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
35571 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Cela fait donc 306774 + 35571 = 342345 accès pour ces 2 robots de Google.
On voit dans cet exemple que Google crawle encore en majorité en version desktop (306774 / 342345 = 89,6%).

Cet article vous a-t-il plu ?

Note : 3.9 (8 votes)
Cliquez pour voter !

Laisser un commentaire

Remarques :

  • Si vous souhaitez poser une question ou détailler un problème technique, il ne faut pas utiliser le formulaire ci-dessous qui est réservé aux avis. Posez votre question directement dans le forum Gmail de WebRankInfo. L'inscription est gratuite et immédiate.

  • En postant un avis, vous acceptez les CGU du site WebRankInfo. Si votre avis ne respecte pas ces règles, il pourra être refusé. Si vous indiquez votre adresse email, vous serez informé dès que votre avis aura été validé (ou refusé...) ; votre adresse ne sera pas utilisée pour vous envoyer des mailings et ne sera pas revendue ou cédée à des tiers.