Google : bientôt l'indexation en temps réel avec PubSubHubbub

Le blog américain ReadWriteWeb rapporte que Google serait en train de travailler sur un dispositif capable d'indexer en quelques secondes le contenu soumis par les éditeurs. Pour cela la firme de Mountain View s'appuierait sur la technologie open source de PubSubHubbub.

Cliquez pour agrandir...

Source

Plus de détails

Re: Google : bientôt l'indexation en temps réel

intéressant, mais c'est déja presque çà ...

Re: Google : bientôt l'indexation en temps réel

PubSubHubbub

Cliquez pour agrandir...

8O Ils ont été le trouver où ce nom ?

Re: Google : bientôt l'indexation en temps réel

seebz a dit:

PubSubHubbub

Cliquez pour agrandir...

8O Ils ont été le trouver où ce nom ?

Cliquez pour agrandir...

Publisher
Subscriber
Hub
bub... ?

pour ceux qui n'ont pas bien compris ce que c'est, voici un petit guide...

Pubsubhubbub : aide à l'indexation temps réel​

Pubsubhubbub est un protocole open source destiné à faciliter les abonnements aux flux RSS/Atom, permettant aux abonnés d'être notifiés en quasi temps réel de l'arrivée de nouveaux éléments, tout en réduisant la charge des éditeurs hébergeant ces flux. Développé par Brad Fitzpatrick, Brett Slatkin et Mihai Parparita, 3 ingénieurs de Google, Pubsubhubbub est déployé progressivement sur un grand nombre de produits Google. Wordpress le propose via un plugin, et vous, allez-vous l'adopter ? Cet article vous explique tout !

Présentation de Pubsubhubbub​

Logo du protocole PubSubHubbub
Vous trouverez toutes les informations détaillées sur le site officiel code.google.com/p/pubsubhubbub/

Je cite le bon article de Didier Durand :

L'architecture de PubSubHubbub est basée sur 3 types d'acteurs :​

• les éditeurs de contenu (publishers) : leurs utilisateurs publient des nouveaux éléments de contenus (articles, micro-blogs, etc...) au gré de leurs activités
• les concentrateurs (hubs) : les éditeurs signalent à ces concentrateurs les nouveaux éléments de contenus dès leur parution. L'intérêt: l'éditeur signale une seule fois et il peut atteindre en cascade via le concentrateur des milliers de services à l'écoute de son activité...
• les abonnés : ce sont tous les services Internet qui ont annoncé - par échange de messages idoines - au(x) concentrateur(s) leur intérêt pour 1 ou N (N pouvant être des millions) flux d'information issus des éditeurs. Dès qu'il est notifié par un éditeur, le concentrateur répercute instantanément (en tout cas, il essaie...) les abonnés de la présence d'un nouveau contenu sur le flux Atom ou RSS d'intérêt. Le concentrateur pousse même l'efficacité jusqu'à livrer le nouvel élément de contenu lui-même avec la notification de sa naissance.

Explications en vidéo :​

Concrètement, il faut comprendre qu'un abonné peut être prévenu dans la seconde même où un contenu est publié !

Un tutoriel Pubsubhubbub est disponible ici en slides sur Google Docs.

Vous publiez du contenu ? Utilisez un hub Pubsubhubbub​

Déclarer un hub dans un flux RSS ou Atom​

Si vous êtes éditeur de contenus, vous avez tout intérêt à utiliser les services d'un hub qui améliorera les performances de la distribution de vos contenus par le biais des flux. Pour cela dans votre flux RSS vous devez déclarer les "coordonnées" du hub, par le biais d'une ligne <link rel="hub" href="URL du hub">. Par exemple les flux FeedBurner définissent http://pubsubhubbub.appspot.com comme hub (ce dernier n'étant pas réservé aux abonnés FeedBurner).

Quand un abonné à votre flux cherche à savoir s'il y a eu une nouvelle publication, au moment où il consulte le flux il peut se rendre compte que le flux déclare utiliser un hub. Dans ce cas, plutôt que de continuer à solliciter le flux, il va solliciter le hub, ce qui au final va s'avérer plus efficace aussi bien pour l'abonné que pour l'éditeur de contenus.

Utiliser un hub Pubsubhubbub sur un blog WordPress​

Si vous avez un blog WordPress hébergé sur WordPress vous n'avez rien à faire, c'est déjà configuré. Si vous utilisez WordPress sur votre propre site, il vous suffit d'installer le plugin disponible ici. et tout est ensuite automatique. Ce plugin va déclarer le hub que vous utilisez et va envoyer des pings à certains gros hubs (tels que Demo hub (sur Google App Engine) et SuperFeedr) dès que vous mettez en ligne de nouveaux articles. Vous pouvez bien sûr en configurer d'autres en allant dans les options de l'extension WordPress. Je suppose qu'elle sera prochainement intégrée directement dans le script WordPress...

Produits utilisant Pubsubhubbub​

Parmi les produits exploitant ce protocole, citons :

• Google Alerts
• Google Reader
• Blogger
• Google Buzz
• FeedBurner
• WordPress
• Typepad
• etc.

et certainement des centaines d'autres !

Votre avis​

Que pensez-vous de tout ça ? J'espère que vous avez compris de quoi il s'agissait car ce n'est pas si simple que ça à présenter. J'ai passé un peu de temps à récolter des infos et à vous les présenter. Pour ma part je n'aurais pas pu trouver pire comme nom : Pubsubhubbub Son petit nom officiel est Hubbub : c'est mieux non ?

En fait, je suis quelque peu déçu par ce pseudo temps réel : je l'imaginais universel à tous les sites et sans avoir recours à une intervention de l'éditeur.

Si je comprends bien pour le lecteur c'est une sorte de netvibes rafraichi automatiquement en ajax ...

Et côté éditeur / Google je ne vois pas bien la différence avec l'exploration d'un flux RSS classique :?: :?:

l'intérêt pour l'éditeur est de disposer d'un système plus performant d'envoi de notifications de ses MAJ, tout en diminuant la charge pour son serveur. En gros il pourra être crawlé + vite, ses abonnés pourront être prévenus + vite, et ça lui coûtera moins de ressources.

l'intérêt pour les moteurs est d'améliorer leur crawl

l'intérêt pour les internautes est d'être tenu au courant des MAJ instantanément

l'intérêt pour les hubs, je ne l'ai toujours pas compris

WebRankInfo a dit:

'intérêt pour les hubs, je ne l'ai toujours pas compris

Cliquez pour agrandir...

Centraliser l'information ?

mais quel est leur modèle économique ?

Extrait du second lien/premier post.

Pourquoi je parle de ce sujet Pubsubhubbub qui peut paraître tellement abscons à l'utilisateur standard de l'internet ?

Eh bien que je suis convaincu que la mise en place maintenant très rapide de ce service va permettre à une nouvelle génération de services d'émerger: ceux qui ne sont intéressés que par une fraction des contenus publiés - ou des méta-données induites par ses publications - en continu sur le web (de manière distribuée) mais pour qui la taille de cette fraction reste malgré tout trop importante pour le financement d'une infrastructure classique de crawling à faible rendement (ratio découvertes / visites très faible).

C'est exactement pour cela que Google a choisi pour Buzz une architecture ouverte aussi capillarisée : pour permettre à de toutes petites équipes d'innover à l'échelle du web en "montant sur ses larges et solides épaules"!

Cliquez pour agrandir...

Peut-être que certains hubs seront payant. Ou bien inclusion de pubs dans les flux envoyés aux abonnées. Ou encore simplement se faire connaître, travailler l'image de marque, et promouvoir le site derrière ou autour.

dop20vt a dit:

Peut-être que certains hubs seront payant. Ou bien inclusion de pubs dans les flux envoyés aux abonnées.

Cliquez pour agrandir...

Dans ce cas, autant mettre en place son propre hub

seebz a dit:

Dans ce cas, autant mettre en place son propre hub

Cliquez pour agrandir...

Oui mais à priori ca nécessite une mise en place côté éditeurs. Vas motiver les troupes qu'en t'es tout petit !!

je sais pas trop mais on peut par exemple lire un flux sur feedburner avec son client habituel. je pense que c'est le même principe ici.

plutot que de fournir directement le flux depuis son blog au client final, on lui indique d'utiliser un intermédiaire (le hub) et c'est à cet intermédiaire qu'on signale qu'il y a du nouveau (principe du ping).... le client lui s'en fout de savoir si c'est un hub de renom ou le hub perso qui lui fourni le contenu.
j'imagine aussi qu'on peut utiliser plusieurs intermédiaire (ping sur plusieurs hub)

je me trompe peut-être, mais c'est ça que j'ai compris.

seebz a dit:

je sais pas trop mais on peut par exemple lire un flux sur feedburner avec son client habituel. je pense que c'est le même principe ici.

plutot que de fournir directement le flux depuis son blog au client final, on lui indique d'utiliser un intermédiaire (le hub) et c'est à cet intermédiaire qu'on signale qu'il y a du nouveau (principe du ping).... le client lui s'en fout de savoir si c'est un hub de renom ou le hub perso qui lui fourni le contenu.
j'imagine aussi qu'on peut utiliser plusieurs intermédiaire (ping sur plusieurs hub)

je me trompe peut-être, mais c'est ça que j'ai compris.

Cliquez pour agrandir...

J'ai compris la même chose que toi. MA remarque ne concernait pas les "clients" mais le site éditeurs qui fourni le contenu au hub. Il va devoir mettre en place un ping ou autre vers chaque hub avec qui il décidera de travailler. C'est la que le petit hub sorti de nul part devra motiver l'éditeur ;-)

Oui, j'ai bien compris mais je regarde actuellement la source du plugin pour wordpress "PuSHPress" qui semble inclure son propre hub.

The main difference between this plugin and others is that it includes the hub features of PuSH, built right in.

Cliquez pour agrandir...

(source)

c'est pas très clair ce truc... quelqu'un de motivé pour nous faire une explication plus claire ? :mrgreen:

sur le plugin wordpress "pubsubhubbub"

j'ai une belle


vous rencontrez le même pb ?

[ooops ! error ! résolu => version php 5 requise ]

Petite question, le <link rel="hub" href="URL du hub"> s'implémente ou dans le site ou dans le flux ?
J'ai loupé une marche pouvez vous m'éclairer SVP ?

pcamliti a dit:

Petite question, le <link rel="hub" href="URL du hub"> s'implémente ou dans le site ou dans le flux ?
J'ai loupé une marche pouvez vous m'éclairer SVP ?

Cliquez pour agrandir...

Il me semble que c'est dans le flux

Cela va-t-il fonctionner avec les sites statiques ?

louk a dit:

Cela va-t-il fonctionner avec les sites statiques ?

Cliquez pour agrandir...

où est l'interet ?

Oui c'est dans le flux

Sur quels Hubs peut-on passer pour déclarer son flux ?

J'ai testé dans mon flux en rajoutant :
<link rel="self" href="http://www.mon_site.com/mon_flux.xml" type="application/rss+xml" />
<link rel="hub" href="http://pubsubhubbub.appspot.com">

Mais ça ne fonctionne pas ? est-ce une autre méthode ?

Bonjour,

j'ai installé ce systeme sur mon site.

J'ai opté pour la methode superfeedr.
N'ayant pas de blog j'ai installé ce système en php (en suivant les sources d'exemples).


Lorsque j'ajoute un nouvel article, je contact bien mon hub http://demarchesadministratives.superfeedr.com/
Tout semble bien se passer, pourtant .... l'indexation instantannée est loin d'être instantannée.

Quelqu'un a -t-il une idée ?

merci, :mrgreen:

Enfin, quand on voit la vitesse à laquelle un article publié sur un blog est indexé sur google...
Après, que ce soit en 20 minutes ou instantané, ça change quoi ?

padadam22 a dit:

Enfin, quand on voit la vitesse à laquelle un article publié sur un blog est indexé sur google...
Après, que ce soit en 20 minutes ou instantané, ça change quoi ?

Cliquez pour agrandir...

je n'utilise pas de blog.
Le site est fait entièrement à la main.
Je ne bénéficie par des systèmes de ping offert par les blog qui permettent d'accélérer l'indexation.


Je souhaite accélérer l'indexation, c'est pourquoi je pose cette question.

Actuellement j'ai mi en place plusieurs 2 methodes php pour le ping : pingomatic et feedburner.
Ainsi que le système subpubhubbub.

Mais il semble que l'indexation ne s'accélère pas... :?

Aurais-je rater quelque chose ? (mes méthodes fonctionnent et ne renvoi pas d'erreur, ... tout est envoyé correctement, mais l'indexation ne s'améliore pas)

merci d'avance,
cdlt

Qu'entends-tu par l'indexation ne s'améliore pas ?
En moyenne, une page est indexée sous combien de temps ?

c variable. Parfois ça va mettre 10 minutes, et parfois beaucoup beaucoup plus.

J'ai fais un test cet aprem avec cette page : http://www.demarchesadministratives.fr/faq/carte-electorale-volee/236/

Tu pourras voir qu'elle n'est toujours pas indexée.

Cette page à été ajoutée "Fri, 23 Dec 2011 12:48:29 +0200" (ce midi).

thx

parce que ping ou pas, cela va dépendre de l'importance que gg donnera au contenu d'un site : si gg vient 10 fois par jour sur la page d'accueil ou s'il n'y vient que toutes les semaines, la fraicheur de l'index en dépendra

Effectivement.
Joli boulot pour un site fait main
Juste un bémol, ton adsense à gauche, qui cache une bonne partie de la page.

Pour ton souci, ça ne viendrait pas d'un manque de contenu ?

merci de vos retours.

PubSubHubbub ce n'est pas du ping.

Pour info :
Le problème ne vient pas de la fraicheur de l'index.
- Auparavant le site était sous Wordpress et les pages s'indexaient en même pas 5 minutes.
- Depuis la nouvelle version, le site crawl 10x fois de page.


J'ai essayé de faire afficher un max d'info de la méthode pubsubhubbub (et superfeedr) ici : http://www.demarchesadministratives.fr/pin.php



thx

pour les stats d'explorations :
http://www.demarchesadministratives.fr/stats.htm

on voit nettement l'impact de la nouvelle version du site

t'as arrêté Wordpress quand ? fin novembre ?
si c'est ça, laisse faire gg, car sa courbe de crawl est montée en flèche, à l'inverse du temps de chargement des pages

yes fin novembre.

Mais ça m'énerve. Pubsubhubbub est pourtant censé offrir "l'indexation instantannée". WTF?!

Bonjour,

Je rencontre exactement le même problème ! J'utilise ping-o-matic couplé à pubsubhubbub (également superfeedr).

A chaque nouvelle page ajoutée, mes méthodes me renvoient toutes un succès (comme toi jeanbelhache) mais je dois attendre au moins 3h pour que la page apparaissent sur google U_U' (Soit le temps à peu près normal...)

Voici l'url de mon site: http://www.bon-ap.com

Si quelqu'un peut m'aider car je désespère...

Merci à tous

gaerebut a dit:

Voici l'url de mon site: http://www.bon-ap.com

Cliquez pour agrandir...

le contenu de ton site n'est pas lié à l'actualité. Donc je ne vois pas le problème d'être indexé en 3h au lieu de 3' ! :roll: