Google: indexation instantanée - impressionnant

Discussion dans 'Techniques avancées de référencement' créé par HawkEye, 24 Mai 2010.

  1. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    18 166
    J'aime reçus:
    0
    Hello,

    Je termine à l'instant un mécanisme de publication différée pour l'annuaire indeXweb.info.
    Ce mécanisme n'affecte pas la présence des liens dans les flux RSS et sitemaps XML.

    Je termine donc, et je teste, en validant deux sites à la volée. Résultat: un publié immédiatement, et l'autre publié dans 5 minutes.
    Mon test valide le fonctionnement, je passe à ma "tâche" suivante.

    Moins d'une minute plus tard, je fais une commande site:annuaire.indexweb.info avec &tbs=rltm:1 qui permet d'afficher les résultats les plus récents.

    Que ne vois-je comme premiers résultats que les fiches des deux sites que je viens de valider.
    La première était linkée depuis la homepage depuis 1 minute. J'étais habitué à du 6-7 minutes... donc j'hallucine déjà un peu...
    Mais l'autre - elle - n'était encore linkée de nulle part.
    Je ne l'avais pas non plus visitée - ce qui écarte un crawl par Mediapartners ou la Toolbar.

    > Via le Sitemap XML, Google a indexé en quelques secondes à peine une page qui n'est même pas encore publiée.
    Je trouve ça complètement dingue.
    Est-ce que vous avez des expériences similaires ? Au niveau de sites de news éventuellement ?
     
  2. mx
    mx WRInaute impliqué
    Inscrit:
    16 Juin 2003
    Messages:
    690
    J'aime reçus:
    0
    question qui n'a aucun rapport, le contenu de ton site est-il unique ?
    et autre question, ta recherche par tag, cela fait longtemps qu'elle est mise en place ?
     
  3. YoyoS
    YoyoS WRInaute accro
    Inscrit:
    14 Septembre 2006
    Messages:
    4 026
    J'aime reçus:
    0
    Encore rien avoir mais sur un blog , j'ai créé un new billet et quelques secondes après, je tape le titre sur google et je le trouve ^^
    Ca doit être à cause du système de wordpress qui fait un ping à google pour faire venir le bot j'imagine.
     
  4. Firewave
    Firewave WRInaute passionné
    Inscrit:
    26 Juillet 2009
    Messages:
    2 298
    J'aime reçus:
    0
    J'ai déjà eu ça. Je me suis toujours dit que google arrivait à détecter quand un bot était sur le site la modification de structure et allait vérifier si c'était bien le cas.
     
  5. e-kiwi
    e-kiwi WRInaute accro
    Inscrit:
    23 Décembre 2003
    Messages:
    15 681
    J'aime reçus:
    0
    moi j'ai ce cas tout le temps, Google m'indexe des articles quelques secondes avant leur mise en ligne, si le sitemap est publié avant l'article. sinon, c'est de l'ordre de quelques secondes, mais ca me le fait depuis plus d'un an, ce n'est pas nouveau :)
     
  6. passion
    passion WRInaute accro
    Inscrit:
    6 Janvier 2006
    Messages:
    3 707
    J'aime reçus:
    7
    ça serait bien qu'il fasse aussi la maj sur ce qu'il a déjà dans sa base au lieu d'en rajouter toujours un peu plus !
    ça fait des semaines (pour ne pas dire des mois) que je trimbale des urls obsolètes ou je ne sais pas comment il a pu m'en trouver certaines !
     
  7. e-kiwi
    e-kiwi WRInaute accro
    Inscrit:
    23 Décembre 2003
    Messages:
    15 681
    J'aime reçus:
    0
    moi ca fait des années, alors que je lui ai balancé du 404, du 410, ... et il s'en fiche royalement ...
     
  8. 1-sponsor
    1-sponsor WRInaute accro
    Inscrit:
    27 Octobre 2006
    Messages:
    3 070
    J'aime reçus:
    8
    Hawk, c'est mon cas pour tous les articles du blog de waaaouh depuis toujours c'est réellement "instantané" (le temps de valider et de switcher sur google c'est indexé) et pour l'annuaire, ça varie de 5 minutes à 1h30 environs... De même, pour indexweb, j'ai déjà remarqué il y a un bon moment des fiches indexées après seulement quelques petites minutes après avoir été liées en home... (quand je te soumets un site, je surveille forcément quand tu me valides :D)

    Mon avis : on obtient ça lorsqu'on a une home qui links très régulièrement des pages de contenus riches et fréquemment (+ieurs fois/jour) mise à jour + une structure très profonde (un annuaire, un blog...). Oui, en fait, pour l'annuaire, au lancement je tentais de valider les sites en instantanés, donc 20 ajouts sur la journée environ et l'indexation était +- dans les 20 minutes en moyenne. Maintenant, je reste parfois jusqu'à 24 heures sans valider et ça a ralenti le temps d'indexation. Je dois parfois attendre + d'une heure...

    ...D'ailleurs, c'est bon pour nos clients, car j'ai déjà eu quelques retours de gens qui étaient contents d'avoir leur nouveau domaine indexé dans google quelques courtes heures après leur valid. sur l'annuaire...
     
  9. jcaron
    jcaron WRInaute accro
    Inscrit:
    13 Février 2004
    Messages:
    2 821
    J'aime reçus:
    0
    Tu n'aurais pas un ping lié à ton flux RSS? Google ne les écoute pas tous, mais quand il les écoute, c'est clair que ça fuse.

    D'ailleurs si quelqu'un connaît le(s) critère(s) pour qu'il est écoute...

    Jacques.
     
  10. 1-sponsor
    1-sponsor WRInaute accro
    Inscrit:
    27 Octobre 2006
    Messages:
    3 070
    J'aime reçus:
    8
    +1 pou le Flux RSS, je pense que ça joue ;)
     
  11. fredfan
    fredfan WRInaute accro
    Inscrit:
    2 Juillet 2008
    Messages:
    3 329
    J'aime reçus:
    0
    Le webmestre avait reçu le mail de confirmation ? C'est peut-être simplement lui qui a fait un ping pour faire indexer sa page.
     
  12. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    18 166
    J'aime reçus:
    0
    Le contenu est unique.
    Le mail de confirmation n'est envoyé que bien plus tard, donc ce n'est pas ça non plus.

    Je n'utilise pas de système de ping. Il n'y a que le flux RSS "basique" et le sitemap XML.

    Effectivement ça fait plus d'un an que je constate moi aussi des indexations "rapides" (quelques minutes), mais là... avant même la mise en ligne, c'est assez sympa.

    Il est vrai qu'à l'inverse, il désindexe très lentement, même s'il a déjà reçu du 404 et que l'URL sort du sitemap XML :roll:
     
  13. 1-sponsor
    1-sponsor WRInaute accro
    Inscrit:
    27 Octobre 2006
    Messages:
    3 070
    J'aime reçus:
    8
    Bah ton sitemap est hyper trusté. De base, un wordpress brut de dézippage a déjà cet effet pour certains sites qui sont déjà bien installé. ;)
     
  14. Aaarrrgggh
    Aaarrrgggh WRInaute occasionnel
    Inscrit:
    16 Mars 2009
    Messages:
    393
    J'aime reçus:
    0
    Hello,

    de mon côté, je n'ai pas de sitemap, mais simplement des flux RSS et les indexations sur Google se font beaucoup plus rares... Google ne passe que toutes les 48h ou 72h. Beaucoup disent qu'un sitemap n'est pas forcément obligatoire, mais il n'empêche qu'il semble bien utile dans ces cas d'indexation quasi instantanée.
     
  15. 1-sponsor
    1-sponsor WRInaute accro
    Inscrit:
    27 Octobre 2006
    Messages:
    3 070
    J'aime reçus:
    8
    Salut Argh
    Tu valides combien de fois/jour ? Tu restes des journées entières sans valider ? Ton Flux RSS est linké en Home ?
     
  16. Aaarrrgggh
    Aaarrrgggh WRInaute occasionnel
    Inscrit:
    16 Mars 2009
    Messages:
    393
    J'aime reçus:
    0
    Hello,

    cela dépend, ça peut aller de 5 ou 6 à 50 - 60 par jour, en fonction du temps que je peux y consacrer. Mon flux RSS n'est pas linké en home par contre. Uniquement sur /dir/ Il m'arrive de ne pas valider pendant une journée, mais en général, ce n'est que le dimanche, et des fois le samedi.
     
  17. johnny-57
    johnny-57 WRInaute occasionnel
    Inscrit:
    20 Avril 2007
    Messages:
    319
    J'aime reçus:
    0
    Heu? question con, c'est quoi cette histoire de ping ?
     
  18. jcaron
    jcaron WRInaute accro
    Inscrit:
    13 Février 2004
    Messages:
    2 821
    J'aime reçus:
    0
    Pour accélérer la diffusion des nouveaux posts sur les moteurs de recherche de blogs etc, il y a un système de "ping" qui permet de notifier les moteurs quand il y a un nouveau post (ce qui permet d'aller lire le flux RSS pour trouver le post en question). En gros, on passe d'un pull à un push (indirect), quoi. Le plus connu (le plus ancien?) est pingomatic.com, mais il y en a d'autres, y compris un directement chez Google si ma mémoire est bonne.

    Mais comme c'est trivial à spammer, les moteurs filtrent les "pings" auxquels ils prêtent attention.

    Plus d'infos ici: http://en.wikipedia.org/wiki/Ping_(blogging)

    Jacques.
     
  19. sleidia
    sleidia WRInaute occasionnel
    Inscrit:
    8 Juillet 2006
    Messages:
    267
    J'aime reçus:
    0
    Faudrait me dire comment vous faites, car pour moi, sur 84 urls fournies, GWT n'en a indexé que 61 et ce depuis des semaines déjà. Je ne sais plus quoi faire pour qu'il les indexe ces satanées pages. Je suis vener de chez vener.

    Par contre, comme le disait je ne sais plus qui sur ce fil, impossible de faire compendre à Google qu'il doit virer les urls périmées malgré un htaccess créé en conséquence.

    Si Google était un être humain je lui aurai cassé la gueule depuis très longtemps ... bordel :(

    Raaah ça défoule.
     
  20. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    18 166
    J'aime reçus:
    0
    @sleidia: un max de backlinks, une bonne structure de site, des mises à jour constantes... bref du boulot.
     
  21. 1-sponsor
    1-sponsor WRInaute accro
    Inscrit:
    27 Octobre 2006
    Messages:
    3 070
    J'aime reçus:
    8
    ... et de l'ancienneté.

    On est pas dans la m*

    *mouise !
     
  22. sleidia
    sleidia WRInaute occasionnel
    Inscrit:
    8 Juillet 2006
    Messages:
    267
    J'aime reçus:
    0
    Le pire c'est que j'ai tout ça. Un PR de 3, un site qui a 8 ans, des pages toutes liées, et mises à jour quasi hebdomadaires et pas mal de backlinks.

    Franchement ça me gave là.
     
  23. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    18 166
    J'aime reçus:
    0
    Tout ça dans une thématique porteuse ?
    Que vaut la concurrence ?

    Etre bon ne suffit pas: pour gagner, il faut être le meilleur.
     
  24. sleidia
    sleidia WRInaute occasionnel
    Inscrit:
    8 Juillet 2006
    Messages:
    267
    J'aime reçus:
    0
    Tout ce que je demande c'est que Google fasse son boulot.
    Je vois pas en quoi être le "meilleur" peut changer quelque chose.

    Google n'est pas foutu de respecter les volontés d'un htaccess tout à fait correct et n'est pas non plus capable d'indexer des pages bien ciblées.

    Je sais que ça sert à rien de constructif mais j'ai vraiment la rage là.
     
  25. 1-sponsor
    1-sponsor WRInaute accro
    Inscrit:
    27 Octobre 2006
    Messages:
    3 070
    J'aime reçus:
    8
    moi aussi j'ai une page qui m'embête depuis des mois riche en contenu unique, linkée de toute page (en interne et en externe)... il l'indexe pas ! mais elle a un passé douloureux cette page... je te parie que changer les urls de tes page réglerrai ton problème, le mien aussi... mais il y a là un manque de logique et je ne l'accepte pas, j'attend que google réévalue la situation de ma page aussi :(
     
  26. finstreet
    finstreet WRInaute accro
    Inscrit:
    10 Juillet 2005
    Messages:
    18 102
    J'aime reçus:
    0
    Et Google il pourrait pas indexer les articles AVANT que je les écrive ? Comme ca je vois ceux qui me rapporteraient le plus, et je pourrais alors les écrire. Non ?
     
  27. artscoop
    artscoop WRInaute occasionnel
    Inscrit:
    17 Octobre 2008
    Messages:
    344
    J'aime reçus:
    0
    J'ai remarqué la même chose, mais cela fait un temps qu'on en parle ici et là.
    Lorsque sur ton site, cette vitesse d'indexation devient immédiate à la soumission d'un sitemap (une quinzaine de secondes), ça fait vraiment plaisir. Mais faut garder un rythme de publication.
    En ce moment, je suis redescendu à 12/24h.

    (Ça laisse d'ailleurs à penser que tu as un bon rythme sur ton annuaire.)
     
  28. mx
    mx WRInaute impliqué
    Inscrit:
    16 Juin 2003
    Messages:
    690
    J'aime reçus:
    0
    oui le rythme c'est vrai
     
  29. LeParrain735
    LeParrain735 WRInaute discret
    Inscrit:
    11 Février 2006
    Messages:
    154
    J'aime reçus:
    0
    Je confirme que Google indexe très vite les pages d'IndexWeb.
    Je viens d'y inscrire un site client et il est déjà accessible sur google (enfin, la page indexweb, pas le site encore^^)
    C'est que Google apprécie ton annuaire :)
    Sans aller jusqu'à chercher à expliquer pourquoi ni comment, le plus important c'est que si Google apprécie ton annuaire, les créateurs de site aussi, et ça lui promet une longue vie.
    Donc, merci ;)
     
  30. Cataloisirs
    Cataloisirs Nouveau WRInaute
    Inscrit:
    6 Juin 2010
    Messages:
    3
    J'aime reçus:
    0
    Bonjour,
    Je souhaite savoir comment puis-je indexer mes pages en quelques minutes, car j'en ai pour 24 à 36 heures actuellement....
     
  31. extremenet
    extremenet WRInaute discret
    Inscrit:
    2 Octobre 2006
    Messages:
    169
    J'aime reçus:
    0
    Le sitemap permet une meilleur indexation.

    pour "passion" : si tu as un sitemap la mise à jour dois se faire automatique, ou utilise l'outil de suppression d'url
     
  32. elas
    elas WRInaute impliqué
    Inscrit:
    26 Février 2008
    Messages:
    545
    J'aime reçus:
    3
    Je n'ai pas tout lu, mais je confirme que google est depuis quelques mois très impressionnant sur le temps réel. Je ne sais pas encore bien comment il choisit ses sites, mais j'en ai un qui a chaque nouvelle page donne les résultats de google : "publié il y a une minute" a peine l'article posté. Comme le post des articles est relié a twitter sur ce site, j'ai pensé que ca venait de la. Mais impossible de reproduire le même phénomène sur un autre site. Le site qui fonctionne date de septembre dernier. Et pour twitter, maintenant si je vais dans l'option les posts les plus récents, google sort le twitt de l'article posté suivi du premier résultat ("publié il a une minute") correspondant à l'article.
    Le classement du site entre peut etre en compte, c'est un site très bien classé dans sa catégorie.
    @stirfryfrog
     
  33. N2Clic
    N2Clic Nouveau WRInaute
    Inscrit:
    3 Avril 2010
    Messages:
    4
    J'aime reçus:
    0
    En expérimentant quelques techniques sous Wordpress, nous arrivons à faire indexer un site en moins de 4h... pas moins.
    Pour intégrer un système de Ping automatique dans un CMS "maison", auriez-vous des suggestion sur les méthodes à employer?
     
  34. Sebast971
    Sebast971 WRInaute discret
    Inscrit:
    27 Novembre 2009
    Messages:
    183
    J'aime reçus:
    0
    En ce qui concerne le lancement de mon nouveau site, ça a plutôt été du 14-15h pour le début de l'indexation ^^
     
  35. Edwardshand
    Edwardshand WRInaute occasionnel
    Inscrit:
    20 Juillet 2007
    Messages:
    275
    J'aime reçus:
    0
    Le fait d'avoir analytics et webmastertool n'augmenterait il pas la vitesse d'indexation ?
     
  36. finstreet
    finstreet WRInaute accro
    Inscrit:
    10 Juillet 2005
    Messages:
    18 102
    J'aime reçus:
    0
    A moins d'avoir un site évènementiel qui doit vivre 24h, je vois pas bien l'intérêt d'avoir son site immédiatement référencé dès sa création, surtout que la plupart sont toujours pas fini 6 mois plus tard
     
  37. leseeb22
    leseeb22 Nouveau WRInaute
    Inscrit:
    27 Février 2005
    Messages:
    14
    J'aime reçus:
    0
    T vraiment sur de ne pas voir d'intérêt lol
    ++
    Seeb
     
  38. finstreet
    finstreet WRInaute accro
    Inscrit:
    10 Juillet 2005
    Messages:
    18 102
    J'aime reçus:
    0
    c'est une question ?
     
  39. foulard
    foulard Nouveau WRInaute
    Inscrit:
    18 Février 2011
    Messages:
    1
    J'aime reçus:
    0
    bonjour,

    C'est toujours plaisant de voir ses pages indéxées très vite....mais bon, si on s'inscrit dans la durée, effectivement pas très grave d'attendre 48h....plus grave si certaines pages ne le sont pas!
     
  40. Html4Seo
    Html4Seo Nouveau WRInaute
    Inscrit:
    23 Février 2011
    Messages:
    15
    J'aime reçus:
    0
    Bonjour,

    Nous avons constaté cela aussi sur un site web sur lequel nous travaillions il y a quelques mois. Le changement de quelques pages (qui modifiait sensiblement la thématique du site web) nous avez fait dégringerolé dans les SERPs dans la journée même (le crawl de Google se faisait en live). Nous nous sommes empressés d'annuler la mise à jour et le lendemain nous regagnions aussitôt nos positions dans les SERPs.
     
  41. charlesmpiche
    charlesmpiche Nouveau WRInaute
    Inscrit:
    17 Novembre 2010
    Messages:
    8
    J'aime reçus:
    0
    Mes articles de blogue s'indexent en quelques minutes à chaque fois. Je crois que concentrer sur la construction de liens éthique et à long terme vous donnera cette indexation ET positionnement rapide. Surtout si vous tweeté vos articles imédiatement après l'envoie.

    Concentrer sur la vitesse d'indexation ne devrais pas être un objectif car ca viens avec le reste ;)
     
  42. hoodia gordonii plus
    hoodia gordonii plus Nouveau WRInaute
    Inscrit:
    28 Mars 2011
    Messages:
    2
    J'aime reçus:
    0
    C'est assez impressionant de se faire indexer aprés quelques seconds.Ma question est : a t-il un rapport avec le référencement de vos pages?
     
  43. medium69
    medium69 WRInaute passionné
    Inscrit:
    7 Mai 2005
    Messages:
    2 481
    J'aime reçus:
    0
    C'est à dire ?
     
  44. Zecat
    Zecat WRInaute accro
    Inscrit:
    1 Mars 2005
    Messages:
    12 434
    J'aime reçus:
    0
    a medium : hoodia c'est un spammy ... hoodia bidule truc c'est le spetites pilules bleues je crois ... :roll:
     
  45. anemone-clown
    anemone-clown WRInaute passionné
    Inscrit:
    11 Novembre 2007
    Messages:
    1 719
    J'aime reçus:
    1
    Etre inscrit à Google Actu... c'est une merveille : tu as le bot FeedFetcher qui reste en permanence sur le site (avec un délai de latence fixé à 5 mn pour la visibilité).

    edit : Oops, je n'avais pas fait attention à la date du thread!
     
  46. leroile
    leroile WRInaute discret
    Inscrit:
    6 Février 2009
    Messages:
    210
    J'aime reçus:
    0
    Sur les blogs blogger, (je n'ai pas testé sous wordpress), les articles sont en ligne et référencés pratiquement au moment ou l'utilisateur clique sur publié.
     
  47. telefitou
    telefitou WRInaute occasionnel
    Inscrit:
    2 Mai 2005
    Messages:
    253
    J'aime reçus:
    0
    Pour mon blog sur over-blog la rapidité d'indexation est également impressionnante.
    Je ne sais pas si cela vient du flux RSS ou de visibilité donné par le portail over-blog
     
  48. annec935
    annec935 Nouveau WRInaute
    Inscrit:
    19 Janvier 2012
    Messages:
    2
    J'aime reçus:
    0
    Bonjour,

    message aux experts du SEO ;-)
    Du fait de la construction un peu particulière de notre site, nous avions un très grand nombre de pages indexées, beaucoup plus importants que le nombre de pages réelles. Problème : les query

    Nous avons modifier le robot txt pour exclure ce paramètre + paramètres webmaster tools.

    Depuis nous sommes passés en 1 mois de 45 000 pages à 6 000 (objectif 1500).
    Depuis décembre le chiffre stagnait à 6000 et depuis 1 semaine, il est à nouveau en train de remonter : lundi 13 000 et ce jour (jeudi 19 01 2012) : 18 000.

    Auriez vous une solution, une réponse? nous ne comprenons plus rien...

    Merci d'avance
     
  49. MichaelWestern
    MichaelWestern Nouveau WRInaute
    Inscrit:
    5 Avril 2012
    Messages:
    13
    J'aime reçus:
    0
    Merci pour toutes ces infos grave utile ;)
     
  50. YoyoS
    YoyoS WRInaute accro
    Inscrit:
    14 Septembre 2006
    Messages:
    4 026
    J'aime reçus:
    0
    Il faudrait tenter une meta cannonical vers l'url sans paramètre sur chaque page, je pense que c'est la meilleur solution, de lui même Google saura quoi faire.
     
  51. walking7
    walking7 WRInaute passionné
    Inscrit:
    17 Février 2009
    Messages:
    1 694
    J'aime reçus:
    0
    bah moi sur mon nouveau site ca met environ 5 jours pour indexer mes nouvelles pages. je suis sur gwt, ga et j'ai un sitemap.txt que je tiens à jour. mon site est en html c'est pas un blog cms .. il a 3 mois
    j'ai des pages nouvelles quasi chaque jour, du vrai contenu bientot 1000 pages de rédigées ..
    mais gg fait la feignasse pour indexer lol
     
  52. walking7
    walking7 WRInaute passionné
    Inscrit:
    17 Février 2009
    Messages:
    1 694
    J'aime reçus:
    0
    d'ailleurs je viens de m'apercevoir que j'ai 12 pages que j'ai mise en ligne depuis plus de 2 mois et qui ne sont toujours pas indexées ! (pourtant 2 autres pages qui ont été mise en ligne le meme jour et qui font parti du meme dossier ont été indexées)
    c'est à n'y rien comprendre !
    si quelqu'un a un debut d'explication je suis preneur parceque là ca me depasse ...
     
  53. pureactu
    pureactu Nouveau WRInaute
    Inscrit:
    17 Juin 2016
    Messages:
    19
    J'aime reçus:
    0
    Je crois que c'est en constante évolution, des nouvelles sur le temps de référencement rapide en moyenne ?
     
  54. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    12 419
    J'aime reçus:
    9
    Il n'y a pas de moyenne : tout dépend du site, de sa popularité, etc.
     
  55. goodfucker
    goodfucker Nouveau WRInaute
    Inscrit:
    10 Mai 2013
    Messages:
    1
    J'aime reçus:
    0
    Le sitemap permet une indexation plus rapide. Mais pour ceux qui veulent indexer leur contenu encore plus vite, et bien il y a Twitter. Le réseau social n'aide en rien à ranker ou à augmenter ses positions sur Google, mais le fait de Twitter un article qui sera retwitter x fois, cela permet d'accroître ses chances d'indexation par Google.