Google: indexation instantanée - impressionnant

[HawkEye]

Hello,

Je termine à l'instant un mécanisme de publication différée pour l'annuaire indeXweb.info.
Ce mécanisme n'affecte pas la présence des liens dans les flux RSS et sitemaps XML.

Je termine donc, et je teste, en validant deux sites à la volée. Résultat: un publié immédiatement, et l'autre publié dans 5 minutes.
Mon test valide le fonctionnement, je passe à ma "tâche" suivante.

Moins d'une minute plus tard, je fais une commande site:annuaire.indexweb.info avec &tbs=rltm:1 qui permet d'afficher les résultats les plus récents.

Que ne vois-je comme premiers résultats que les fiches des deux sites que je viens de valider.
La première était linkée depuis la homepage depuis 1 minute. J'étais habitué à du 6-7 minutes... donc j'hallucine déjà un peu...
Mais l'autre - elle - n'était encore linkée de nulle part.
Je ne l'avais pas non plus visitée - ce qui écarte un crawl par Mediapartners ou la Toolbar.

> Via le Sitemap XML, Google a indexé en quelques secondes à peine une page qui n'est même pas encore publiée.
Je trouve ça complètement dingue.
Est-ce que vous avez des expériences similaires ? Au niveau de sites de news éventuellement ?

 

[mx]

question qui n'a aucun rapport, le contenu de ton site est-il unique ?
et autre question, ta recherche par tag, cela fait longtemps qu'elle est mise en place ?

 

[YoyoS]

Encore rien avoir mais sur un blog , j'ai créé un new billet et quelques secondes après, je tape le titre sur google et je le trouve ^^
Ca doit être à cause du système de wordpress qui fait un ping à google pour faire venir le bot j'imagine.

 

[Firewave]

J'ai déjà eu ça. Je me suis toujours dit que google arrivait à détecter quand un bot était sur le site la modification de structure et allait vérifier si c'était bien le cas.

 

[e-kiwi]

moi j'ai ce cas tout le temps, Google m'indexe des articles quelques secondes avant leur mise en ligne, si le sitemap est publié avant l'article. sinon, c'est de l'ordre de quelques secondes, mais ca me le fait depuis plus d'un an, ce n'est pas nouveau

 

[passion]

ça serait bien qu'il fasse aussi la maj sur ce qu'il a déjà dans sa base au lieu d'en rajouter toujours un peu plus !
ça fait des semaines (pour ne pas dire des mois) que je trimbale des urls obsolètes ou je ne sais pas comment il a pu m'en trouver certaines !

 

[e-kiwi]

moi ca fait des années, alors que je lui ai balancé du 404, du 410, ... et il s'en fiche royalement ...

 

[1-sponsor]

Hawk, c'est mon cas pour tous les articles du blog de waaaouh depuis toujours c'est réellement "instantané" (le temps de valider et de switcher sur google c'est indexé) et pour l'annuaire, ça varie de 5 minutes à 1h30 environs... De même, pour indexweb, j'ai déjà remarqué il y a un bon moment des fiches indexées après seulement quelques petites minutes après avoir été liées en home... (quand je te soumets un site, je surveille forcément quand tu me valides )

Mon avis : on obtient ça lorsqu'on a une home qui links très régulièrement des pages de contenus riches et fréquemment (+ieurs fois/jour) mise à jour + une structure très profonde (un annuaire, un blog...). Oui, en fait, pour l'annuaire, au lancement je tentais de valider les sites en instantanés, donc 20 ajouts sur la journée environ et l'indexation était +- dans les 20 minutes en moyenne. Maintenant, je reste parfois jusqu'à 24 heures sans valider et ça a ralenti le temps d'indexation. Je dois parfois attendre + d'une heure...

...D'ailleurs, c'est bon pour nos clients, car j'ai déjà eu quelques retours de gens qui étaient contents d'avoir leur nouveau domaine indexé dans google quelques courtes heures après leur valid. sur l'annuaire...

 

[jcaron]

Tu n'aurais pas un ping lié à ton flux RSS? Google ne les écoute pas tous, mais quand il les écoute, c'est clair que ça fuse.

D'ailleurs si quelqu'un connaît le(s) critère(s) pour qu'il est écoute...

Jacques.

 

[1-sponsor]

+1 pou le Flux RSS, je pense que ça joue

 

[fredfan]

Le webmestre avait reçu le mail de confirmation ? C'est peut-être simplement lui qui a fait un ping pour faire indexer sa page.

 

[HawkEye]

Le contenu est unique.
Le mail de confirmation n'est envoyé que bien plus tard, donc ce n'est pas ça non plus.

Je n'utilise pas de système de ping. Il n'y a que le flux RSS "basique" et le sitemap XML.

Effectivement ça fait plus d'un an que je constate moi aussi des indexations "rapides" (quelques minutes), mais là... avant même la mise en ligne, c'est assez sympa.

Il est vrai qu'à l'inverse, il désindexe très lentement, même s'il a déjà reçu du 404 et que l'URL sort du sitemap XML :roll:

 

[1-sponsor]

Bah ton sitemap est hyper trusté. De base, un wordpress brut de dézippage a déjà cet effet pour certains sites qui sont déjà bien installé.

 

[Aaarrrgggh]

Hello,

de mon côté, je n'ai pas de sitemap, mais simplement des flux RSS et les indexations sur Google se font beaucoup plus rares... Google ne passe que toutes les 48h ou 72h. Beaucoup disent qu'un sitemap n'est pas forcément obligatoire, mais il n'empêche qu'il semble bien utile dans ces cas d'indexation quasi instantanée.

 

[1-sponsor]

Salut Argh
Tu valides combien de fois/jour ? Tu restes des journées entières sans valider ? Ton Flux RSS est linké en Home ?

 

[Aaarrrgggh]

Salut Argh
Tu valides combien de fois/jour ? Tu restes des journées entières sans valider ? Ton Flux RSS est linké en Home ?

Hello,

cela dépend, ça peut aller de 5 ou 6 à 50 - 60 par jour, en fonction du temps que je peux y consacrer. Mon flux RSS n'est pas linké en home par contre. Uniquement sur /dir/ Il m'arrive de ne pas valider pendant une journée, mais en général, ce n'est que le dimanche, et des fois le samedi.

 

[johnny-57]

Tu n'aurais pas un ping lié à ton flux RSS? Google ne les écoute pas tous, mais quand il les écoute, c'est clair que ça fuse.

D'ailleurs si quelqu'un connaît le(s) critère(s) pour qu'il est écoute...

Jacques.

Heu? question con, c'est quoi cette histoire de ping ?

 

[jcaron]

Pour accélérer la diffusion des nouveaux posts sur les moteurs de recherche de blogs etc, il y a un système de "ping" qui permet de notifier les moteurs quand il y a un nouveau post (ce qui permet d'aller lire le flux RSS pour trouver le post en question). En gros, on passe d'un pull à un push (indirect), quoi. Le plus connu (le plus ancien?) est pingomatic.com, mais il y en a d'autres, y compris un directement chez Google si ma mémoire est bonne.

Mais comme c'est trivial à spammer, les moteurs filtrent les "pings" auxquels ils prêtent attention.

Plus d'infos ici: http://en.wikipedia.org/wiki/Ping_(blogging)

Jacques.

 

[sleidia]

Faudrait me dire comment vous faites, car pour moi, sur 84 urls fournies, GWT n'en a indexé que 61 et ce depuis des semaines déjà. Je ne sais plus quoi faire pour qu'il les indexe ces satanées pages. Je suis vener de chez vener.

Par contre, comme le disait je ne sais plus qui sur ce fil, impossible de faire compendre à Google qu'il doit virer les urls périmées malgré un htaccess créé en conséquence.

Si Google était un être humain je lui aurai cassé la gueule depuis très longtemps ... bordel

Raaah ça défoule.

 

[HawkEye]

@sleidia: un max de backlinks, une bonne structure de site, des mises à jour constantes... bref du boulot.

 

[1-sponsor]

@sleidia: un max de backlinks, une bonne structure de site, des mises à jour constantes... bref du boulot.

... et de l'ancienneté.

On est pas dans la m*

*mouise !

 

[sleidia]

@sleidia: un max de backlinks, une bonne structure de site, des mises à jour constantes... bref du boulot.

Le pire c'est que j'ai tout ça. Un PR de 3, un site qui a 8 ans, des pages toutes liées, et mises à jour quasi hebdomadaires et pas mal de backlinks.

Franchement ça me gave là.

 

[HawkEye]

@sleidia: un max de backlinks, une bonne structure de site, des mises à jour constantes... bref du boulot.

Le pire c'est que j'ai tout ça. Un PR de 3, un site qui a 8 ans, des pages toutes liées, et mises à jour quasi hebdomadaires et pas mal de backlinks.

Franchement ça me gave là.

Tout ça dans une thématique porteuse ?
Que vaut la concurrence ?

Etre bon ne suffit pas: pour gagner, il faut être le meilleur.

 

[sleidia]

@sleidia: un max de backlinks, une bonne structure de site, des mises à jour constantes... bref du boulot.

Le pire c'est que j'ai tout ça. Un PR de 3, un site qui a 8 ans, des pages toutes liées, et mises à jour quasi hebdomadaires et pas mal de backlinks.

Franchement ça me gave là.

Tout ça dans une thématique porteuse ?
Que vaut la concurrence ?

Etre bon ne suffit pas: pour gagner, il faut être le meilleur.

Tout ce que je demande c'est que Google fasse son boulot.
Je vois pas en quoi être le "meilleur" peut changer quelque chose.

Google n'est pas foutu de respecter les volontés d'un htaccess tout à fait correct et n'est pas non plus capable d'indexer des pages bien ciblées.

Je sais que ça sert à rien de constructif mais j'ai vraiment la rage là.

 

[1-sponsor]

moi aussi j'ai une page qui m'embête depuis des mois riche en contenu unique, linkée de toute page (en interne et en externe)... il l'indexe pas ! mais elle a un passé douloureux cette page... je te parie que changer les urls de tes page réglerrai ton problème, le mien aussi... mais il y a là un manque de logique et je ne l'accepte pas, j'attend que google réévalue la situation de ma page aussi

 

[finstreet]

Et Google il pourrait pas indexer les articles AVANT que je les écrive ? Comme ca je vois ceux qui me rapporteraient le plus, et je pourrais alors les écrire. Non ?

 

[artscoop]

J'ai remarqué la même chose, mais cela fait un temps qu'on en parle ici et là.
Lorsque sur ton site, cette vitesse d'indexation devient immédiate à la soumission d'un sitemap (une quinzaine de secondes), ça fait vraiment plaisir. Mais faut garder un rythme de publication.
En ce moment, je suis redescendu à 12/24h.

(Ça laisse d'ailleurs à penser que tu as un bon rythme sur ton annuaire.)

 

[mx]

J'ai remarqué la même chose, mais cela fait un temps qu'on en parle ici et là.
Lorsque sur ton site, cette vitesse d'indexation devient immédiate à la soumission d'un sitemap (une quinzaine de secondes), ça fait vraiment plaisir. Mais faut garder un rythme de publication.
En ce moment, je suis redescendu à 12/24h.

(Ça laisse d'ailleurs à penser que tu as un bon rythme sur ton annuaire.)

oui le rythme c'est vrai

 

[LeParrain735]

Je confirme que Google indexe très vite les pages d'IndexWeb.
Je viens d'y inscrire un site client et il est déjà accessible sur google (enfin, la page indexweb, pas le site encore^^)
C'est que Google apprécie ton annuaire
Sans aller jusqu'à chercher à expliquer pourquoi ni comment, le plus important c'est que si Google apprécie ton annuaire, les créateurs de site aussi, et ça lui promet une longue vie.
Donc, merci

 

[Cataloisirs]

Bonjour,
Je souhaite savoir comment puis-je indexer mes pages en quelques minutes, car j'en ai pour 24 à 36 heures actuellement....

 

[extremenet]

Le sitemap permet une meilleur indexation.

pour "passion" : si tu as un sitemap la mise à jour dois se faire automatique, ou utilise l'outil de suppression d'url

 

[elas]

Je n'ai pas tout lu, mais je confirme que google est depuis quelques mois très impressionnant sur le temps réel. Je ne sais pas encore bien comment il choisit ses sites, mais j'en ai un qui a chaque nouvelle page donne les résultats de google : "publié il y a une minute" a peine l'article posté. Comme le post des articles est relié a twitter sur ce site, j'ai pensé que ca venait de la. Mais impossible de reproduire le même phénomène sur un autre site. Le site qui fonctionne date de septembre dernier. Et pour twitter, maintenant si je vais dans l'option les posts les plus récents, google sort le twitt de l'article posté suivi du premier résultat ("publié il a une minute") correspondant à l'article.
Le classement du site entre peut etre en compte, c'est un site très bien classé dans sa catégorie.
@stirfryfrog

 

[N2Clic]

En expérimentant quelques techniques sous Wordpress, nous arrivons à faire indexer un site en moins de 4h... pas moins.
Pour intégrer un système de Ping automatique dans un CMS "maison", auriez-vous des suggestion sur les méthodes à employer?

 

[Sebast971]

En ce qui concerne le lancement de mon nouveau site, ça a plutôt été du 14-15h pour le début de l'indexation ^^

 

[Edwardshand]

Le fait d'avoir analytics et webmastertool n'augmenterait il pas la vitesse d'indexation ?

 

[finstreet]

A moins d'avoir un site évènementiel qui doit vivre 24h, je vois pas bien l'intérêt d'avoir son site immédiatement référencé dès sa création, surtout que la plupart sont toujours pas fini 6 mois plus tard

 

[leseeb22]

A moins d'avoir un site évènementiel qui doit vivre 24h, je vois pas bien l'intérêt d'avoir son site immédiatement référencé dès sa création, surtout que la plupart sont toujours pas fini 6 mois plus tard

T vraiment sur de ne pas voir d'intérêt lol
++
Seeb

 

[finstreet]

A moins d'avoir un site évènementiel qui doit vivre 24h, je vois pas bien l'intérêt d'avoir son site immédiatement référencé dès sa création, surtout que la plupart sont toujours pas fini 6 mois plus tard

T vraiment sur de ne pas voir d'intérêt lol
++
Seeb

c'est une question ?

 

[foulard]

bonjour,

C'est toujours plaisant de voir ses pages indéxées très vite....mais bon, si on s'inscrit dans la durée, effectivement pas très grave d'attendre 48h....plus grave si certaines pages ne le sont pas!

 

[Html4Seo]

Bonjour,

Nous avons constaté cela aussi sur un site web sur lequel nous travaillions il y a quelques mois. Le changement de quelques pages (qui modifiait sensiblement la thématique du site web) nous avez fait dégringerolé dans les SERPs dans la journée même (le crawl de Google se faisait en live). Nous nous sommes empressés d'annuler la mise à jour et le lendemain nous regagnions aussitôt nos positions dans les SERPs.

 

[charlesmpiche]

Mes articles de blogue s'indexent en quelques minutes à chaque fois. Je crois que concentrer sur la construction de liens éthique et à long terme vous donnera cette indexation ET positionnement rapide. Surtout si vous tweeté vos articles imédiatement après l'envoie.

Concentrer sur la vitesse d'indexation ne devrais pas être un objectif car ca viens avec le reste

 

[hoodia gordonii plus]

C'est assez impressionant de se faire indexer aprés quelques seconds.Ma question est : a t-il un rapport avec le référencement de vos pages?

 

[medium69]

a t-il un rapport avec le référencement de vos pages?

C'est à dire ?

 

[Zecat]

a medium : hoodia c'est un spammy ... hoodia bidule truc c'est le spetites pilules bleues je crois ... :roll:

 

[anemone-clown]

D'ailleurs si quelqu'un connaît le(s) critère(s) pour qu'il est écoute...

Etre inscrit à Google Actu... c'est une merveille : tu as le bot FeedFetcher qui reste en permanence sur le site (avec un délai de latence fixé à 5 mn pour la visibilité).

edit : Oops, je n'avais pas fait attention à la date du thread!

 

[leroile]

Sur les blogs blogger, (je n'ai pas testé sous wordpress), les articles sont en ligne et référencés pratiquement au moment ou l'utilisateur clique sur publié.

 

[telefitou]

Pour mon blog sur over-blog la rapidité d'indexation est également impressionnante.
Je ne sais pas si cela vient du flux RSS ou de visibilité donné par le portail over-blog

 

[annec935]

Bonjour,

message aux experts du SEO ;-)
Du fait de la construction un peu particulière de notre site, nous avions un très grand nombre de pages indexées, beaucoup plus importants que le nombre de pages réelles. Problème : les query

Nous avons modifier le robot txt pour exclure ce paramètre + paramètres webmaster tools.

Depuis nous sommes passés en 1 mois de 45 000 pages à 6 000 (objectif 1500).
Depuis décembre le chiffre stagnait à 6000 et depuis 1 semaine, il est à nouveau en train de remonter : lundi 13 000 et ce jour (jeudi 19 01 2012) : 18 000.

Auriez vous une solution, une réponse? nous ne comprenons plus rien...

Merci d'avance

 

[MichaelWestern]

Merci pour toutes ces infos grave utile

 

[YoyoS]

Il faudrait tenter une meta cannonical vers l'url sans paramètre sur chaque page, je pense que c'est la meilleur solution, de lui même Google saura quoi faire.

 

[walking7]

bah moi sur mon nouveau site ca met environ 5 jours pour indexer mes nouvelles pages. je suis sur gwt, ga et j'ai un sitemap.txt que je tiens à jour. mon site est en html c'est pas un blog cms .. il a 3 mois
j'ai des pages nouvelles quasi chaque jour, du vrai contenu bientot 1000 pages de rédigées ..
mais gg fait la feignasse pour indexer lol

 

[walking7]

d'ailleurs je viens de m'apercevoir que j'ai 12 pages que j'ai mise en ligne depuis plus de 2 mois et qui ne sont toujours pas indexées ! (pourtant 2 autres pages qui ont été mise en ligne le meme jour et qui font parti du meme dossier ont été indexées)
c'est à n'y rien comprendre !
si quelqu'un a un debut d'explication je suis preneur parceque là ca me depasse ...

 

[pureactu]

Je crois que c'est en constante évolution, des nouvelles sur le temps de référencement rapide en moyenne ?

 

[UsagiYojimbo]

Il n'y a pas de moyenne : tout dépend du site, de sa popularité, etc.

 

[goodfucker]

Le sitemap permet une indexation plus rapide. Mais pour ceux qui veulent indexer leur contenu encore plus vite, et bien il y a Twitter. Le réseau social n'aide en rien à ranker ou à augmenter ses positions sur Google, mais le fait de Twitter un article qui sera retwitter x fois, cela permet d'accroître ses chances d'indexation par Google.