Portrait Olivier Duffez

Olivier Duffez

Créateur de WebRankInfo,
consultant en référencement

Apple lance officiellement son crawler Applebot : bientôt son moteur de recherche ?

Google devrait-il s’inquiéter de voir son voisin et concurrent (sur mobile) Apple préparer un moteur de recherche ? En tout cas Apple a annoncé officiellement avoir un robot pour crawler le web…

Moteur de recherche Apple ?

Apple va-t-il lancer un moteur de recherche ? En tout cas son robot AppleBot crawle le web depuis fin 2014. L’avenir dira si cela donnera naissance à Apple Search

Cette page de support du site apple.com n’a l’air de rien, mais les référenceurs savent que cela signifie peut-être beaucoup : Apple confirme avoir développé un crawler qui parcourt le web. Officiellement, il est utilisé pour certains produits dont Siri et Spotlight (le moteur de recherche intégré dans Mac OS). Mais évidemment, Apple pourrait aller bien au-delà pour profiter de la manne d’informations récoltées.

Qui sait, Apple pourrait utiliser une partie de ses ~200 milliards de $ de cash (3 fois plus que les « maigres » 65 milliards de Google) pour développer un moteur de recherche ? « Apple Search » ou « iSearch » pourrait être proposé (imposé ?) à tous les utilisateurs d’appareils Apple (iOS, Mac OS), ce qui fait pas mal de monde au final. Un peu plus de concurrence à Google nous ferait le plus grand bien !

En attendant que Google rachète Apple, comme l’imagine Laurent Alexandre dans ses romans d’anticipation (excellents au passage)…

Si vous souhaitez vérifier si Applebot a commencé à crawler votre site, voici comment l’identifier…

Le nom d’agent (User-agent) complet inclut « Applebot », comme par exemple :

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)

Pour ma part, le User Agent réel vu dans mes logs est du type

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1; +http://www.apple.com/go/applebot)

Ce crawler respecte le standard robots.txt (pour interdire le crawl) ainsi que les balises meta robots (pour interdire l’indexation).

Dans votre fichier robots.txt, utilisez simplement « Applebot ». Par exemple si vous souhaitez lui interdire le crawl du répertoire « annonces » à la racine de votre site (sous-domaine), mettez :

User-agent: Applebot
Disallow: /annonces/

Son IP appartient au bloc 17.0.0.0.

Apple précise que si vous n’avez pas d’instruction particulière pour Applebot, il suivra celles destinées à Googlebot. Amusant non ?

Vous pouvez envoyer vos éventuelles questions à l’adresse email Apple-NOC “at” apple.com

Pour ma part, je l’ai vu passer sur WebRankInfo, avec par exemple les IP 17.142.152.70, 17.142.152.78, 17.142.152.97, 17.142.152.130, 17.142.152.131, 17.142.152.236

Alors, que pensez-vous que le géant Apple nous prépare ? L’avez-vous vu passer sur vos sites ? Certains disent l’avoir repéré dès novembre 2014, d’ailleurs on avait parlé de ce crawler d’Apple sur le forum WRI.

Cet article vous a-t-il plu ?

Cliquez pour voter !

Laisser un commentaire

Remarques :

  • Si vous souhaitez poser une question ou détailler un problème technique, il ne faut pas utiliser le formulaire ci-dessous qui est réservé aux avis. Posez votre question directement dans le forum Gmail de WebRankInfo. L'inscription est gratuite et immédiate.

  • En postant un avis, vous acceptez les CGU du site WebRankInfo. Si votre avis ne respecte pas ces règles, il pourra être refusé. Si vous indiquez votre adresse email, vous serez informé dès que votre avis aura été validé (ou refusé...) ; votre adresse ne sera pas utilisée pour vous envoyer des mailings et ne sera pas revendue ou cédée à des tiers.

4 commentaires

jmax

Cela fait un paquet de mois qu’il tourne. En regardant vite fait, j’ai des traces depuis début mars sur mon serveur qui date de …début mars

Répondre
Olivier Duffez

@jmax : en effet, j’ai indiqué dans mon article qu’on en parle depuis novembre 2014

Répondre
Liou

Bonjour Olivier,

Je viens de trouver un article sur internet très intéressant :
http://blog.equaero.com/2015/09/apple-sattaque-au-search-avec-ios-90.html

(Je ne fais pas partie de ce site, je précise)

Mais cet article m’a interpellé, car il semble que maintenant (si j’ai bien compris), avec IOS 9, la fonction « Search » utilise le moteur de recherche de Apple plutôt qu’une recherche sur Google. Est-ce bien le cas ?

Si oui, cela nous oblige presque a avoir une application « référencée » via ce moteur de recherche pour ne pas passer à côté des possesseurs d’IPhone ?

Je ne sais pas si vous pourriez faire un article là-dessus mais ce pourrait être très intéressant pour la communauté :)

En vous remerciant par avance.

Bien cordialement,

Répondre