Deep crawl de google aux USA

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Smarties, 29 Septembre 2004.

  1. Smarties
    Smarties Nouveau WRInaute
    Inscrit:
    27 Août 2003
    Messages:
    34
    J'aime reçus:
    0
    Apparement google a commencé une énorme reconstruction de son index et a commencé a crawler profondément pleins de sites aux USA, donc je suppose que d'ici quelques jours, ici aussi il fera son travail!
     
  2. Smarties
    Smarties Nouveau WRInaute
    Inscrit:
    27 Août 2003
    Messages:
    34
    J'aime reçus:
    0
    Confirmation de possible google dance

    J'ai été vérifier mes logs et en effet Google index mon site de fond en comble depuis le 28 et semble bien décider a en visiter le moindre recoins.
     
  3. angelus_2
    angelus_2 WRInaute discret
    Inscrit:
    19 Juillet 2004
    Messages:
    164
    J'aime reçus:
    0
    pour ma part j'ai remarqué sur l'ensemble de mes sites une fréquentation par 3 de gg, deplus la plupart de mes sites font l'objet d'un deep crawl, certains ont jamais même été aussi indexé en profondeur.

    effectivement je pense que quelquechose se prépare (gd peut être)
     
  4. humainbot
    humainbot WRInaute discret
    Inscrit:
    26 Septembre 2004
    Messages:
    178
    J'aime reçus:
    0
    même chose pour mes sites mexicains, ya du crawl dans l'air..
     
  5. Earth Brian
    Earth Brian WRInaute discret
    Inscrit:
    9 Janvier 2004
    Messages:
    82
    J'aime reçus:
    0
    Oui grosse activité GG depuis 2J ici aussi. Je n'ai pas verifié un crawle profond ou pas mais en tt cas un traffic répété sur les memes pages et ce plusieurs x par jour. Peut etre une new ggd ? :)

    On l'aura avant noel finalement ;)
     
  6. Cartapus
    Cartapus WRInaute occasionnel
    Inscrit:
    18 Juin 2004
    Messages:
    386
    J'aime reçus:
    0
    Je confirme, y a comme qui dirait un full crawl sur mon site français
     
  7. PyRoFLo
    PyRoFLo WRInaute occasionnel
    Inscrit:
    24 Mars 2004
    Messages:
    410
    J'aime reçus:
    0
    Egalement, plus de 300 pages / jour depuis 3 jours.

    Des liens qu'il n'avait jamais suivi aussi :p
     
  8. PuraVida
    PuraVida WRInaute impliqué
    Inscrit:
    13 Janvier 2004
    Messages:
    741
    J'aime reçus:
    0
    En effet, mais pour mon site ca a commencer le 27, et aujourd'hui ca continue!!!
    On dirait que goog nous prepares quelque chose 8O
     
  9. Le_Phasme
    Le_Phasme WRInaute passionné
    Inscrit:
    4 Juillet 2003
    Messages:
    1 131
    J'aime reçus:
    0
    2216 visites google sur hotelsgagnants.net auj 14h00
    653 visites google sur jeuxgagnants.net auj 14h00

    30000 pages en tout hotelsgagnants
    2100 pages en tout jeuxgagnants

    Voila pour moi

    A titre de comparaison, hier j'en avais 100 google en reunissant les 2 sites;
     
  10. JeunZ
    JeunZ WRInaute accro
    Inscrit:
    18 Février 2004
    Messages:
    3 971
    J'aime reçus:
    0
    Idem depuis une semaine ça grimpe... Avec une envolée le 27 et un full crawl et la des crawl plus petit mais tout de même beaucoup plus que ma moyenne habituelle :)
     
  11. didjiridou
    didjiridou WRInaute occasionnel
    Inscrit:
    21 Mars 2004
    Messages:
    342
    J'aime reçus:
    0
    Pour moi l'envolée ca a été hier (29-09)... juste avant ma mise en place de l'Url Rewritting sur plusieurs de mes sites... pas de chance pour moi :p
     
  12. takeiteasy
    takeiteasy WRInaute discret
    Inscrit:
    9 Juillet 2003
    Messages:
    76
    J'aime reçus:
    0
    Idem pour moi.

    Toutes les pages avec la date de fraicheur.

    Mais ne fait-il pas un crawl important 1 fois par mois ?
     
  13. rafe
    rafe WRInaute discret
    Inscrit:
    4 Juin 2004
    Messages:
    121
    J'aime reçus:
    0
    33 ip différentes sur mes forums, environ 600 visites de google en une journée :)
     
  14. Cendrillon
    Cendrillon WRInaute accro
    Inscrit:
    17 Août 2004
    Messages:
    3 650
    J'aime reçus:
    0
    alors ... soit il t'aime ... soit il t'a dans le collimateur ... :wink:
     
  15. bakalinge
    bakalinge WRInaute discret
    Inscrit:
    26 Août 2004
    Messages:
    79
    J'aime reçus:
    0
    Ouais, ou alors carrément il disjoncte parce que subitement, après avoir analysé 4 milliards de page façon mila jovovich dans le "5th element", il se dit que finalement ces pauvres humains ne valent pas grand chose...

    Plus sérieusement, question : Est-ce qu'un site blacklisté reçoit encore la viste de Googlebot ?
     
  16. Cendrillon
    Cendrillon WRInaute accro
    Inscrit:
    17 Août 2004
    Messages:
    3 650
    J'aime reçus:
    0
    compltement blacklisté je ne penses pas ...
    pénalisé oui ... sinon comment saurait il quand la pénalisation peut être levée ... :wink:
     
  17. angelus_2
    angelus_2 WRInaute discret
    Inscrit:
    19 Juillet 2004
    Messages:
    164
    J'aime reçus:
    0
    a ma connaissance oui, il continue à indexer ton site mais ne prend pas en compte l'indexation ni le cache

    correction: je parle effectivement d'un site pénalisé (généralement il ne reste que l'url), et la pénalité peut durer plusieurs semaines

    c'est seulement dans ce cas que tu te fais indexé comme si de rien n'étais

    si tu es blacklisté , tu n'apparait plus du tout
     
  18. Smarties
    Smarties Nouveau WRInaute
    Inscrit:
    27 Août 2003
    Messages:
    34
    J'aime reçus:
    0
    Je voulais souligner quelque chose que j'ai remarqué avec google.

    Lors d'indexation de nouvelles pages, bien souvent pendant quelques jours voir plusieurs semaines, seul l'url est indexé et non le contenu.

    Cela est nullement lié a une pénalité mais simplement du au fait que google indexe l'url puis il lui faut un temps de 'vérification' pour complètement intégrer le contenu dans son index.
     
  19. PyRoFLo
    PyRoFLo WRInaute occasionnel
    Inscrit:
    24 Mars 2004
    Messages:
    410
    J'aime reçus:
    0
    Si tu parles de "nouvelles" pages en désignant les pages d'un site tout neuf, je confirme.

    En revanche, je n'ai pas du tout constaté de telles choses pour des nouvelles pages sur un site déjà indexé.

    Il suffit de mettre un lien sur l'index du site, et 2 ou 3 jours après Google visitera la nouvelle page.
    A J + 2, la page est présente dans l'index soit un délai d'environ 5 jours pour l'indexation d'une nouvelle page d'un site indexé :p

    Je ne parle que de mon site...
     
  20. angelus_2
    angelus_2 WRInaute discret
    Inscrit:
    19 Juillet 2004
    Messages:
    164
    J'aime reçus:
    0
    je confirme aussi, si il s'agit d'un nouveau site, il n'y a que l'url dans un premier temps

    par contre si le site avait deja eu une description et un titre, et que désormais plus rien
    il peut s'agir soit d"une pénalité, ou d'un serveur indisponible

    le mieux est d'attendre, si le robot passe de nouveau et rien de changer dans les 24 heures alors il s'agit bien d'une pénalité, le mieux est de rien faire et d'attendre, tout redeviendra normale (à condition de virer tout ce qui va pas)
     
  21. didjiridou
    didjiridou WRInaute occasionnel
    Inscrit:
    21 Mars 2004
    Messages:
    342
    J'aime reçus:
    0
    j'ai remarqué ca également, enfin, disons que moi, mes sites sont généralement indexé rapidement, ils restent nickel dans Google pendant 1 bonne semaine, mais ensuite, mes pages perdent leur description pendant quelques jours... :p

    Ensuite, ils sont indexés pour de bons et ne quittent plus le moteur de recherche :)
     
  22. marphi
    marphi WRInaute discret
    Inscrit:
    9 Décembre 2003
    Messages:
    187
    J'aime reçus:
    0
    question de débutant... :
    comment faites vous, ou quel log utilisez vous pour savoir que google "indexe de fond en comble" (sic) ou encore "à visiter plus de 300 pages" (sic), etc... ?
    merci de la réponse
     
  23. Oncle Tom
    Oncle Tom WRInaute impliqué
    Inscrit:
    31 Mars 2003
    Messages:
    720
    J'aime reçus:
    0
    Robostats ;)
     
  24. marphi
    marphi WRInaute discret
    Inscrit:
    9 Décembre 2003
    Messages:
    187
    J'aime reçus:
    0
  25. Bat
    Bat Nouveau WRInaute
    Inscrit:
    16 Février 2004
    Messages:
    49
    J'aime reçus:
    0
    Hello,

    Autre question qui peut paraître simpliste : on est obligé d'avoir un site en php pour utiliser robotstats non ? si oui, comment est-il possible d'analyser les logs sur un site ne comportant que des pages html ?

    merci !
     
  26. marphi
    marphi WRInaute discret
    Inscrit:
    9 Décembre 2003
    Messages:
    187
    J'aime reçus:
    0
    j' allais faire la même question !!!! mes sites sont en html et j'ai pas trop envie de changer l'extension de toutes les pages....(450!)
     
  27. Oncle Tom
    Oncle Tom WRInaute impliqué
    Inscrit:
    31 Mars 2003
    Messages:
    720
    J'aime reçus:
    0
    Ben à moins que vous connaissiez un moyen pour inclure du php dans du HTML je vois mal comment vous allez faire ;)
    Sinon vous ne pouvez pas malheureusement (sauf si on me contredit mais bon ...).
     
  28. Yo@nn
    Yo@nn WRInaute discret
    Inscrit:
    30 Juin 2004
    Messages:
    93
    J'aime reçus:
    0
    En disant à ton serveur que les fichiers html sont du php, grâce à ton fichier .htaccess.

    <FilesMatch "^(html)$">
    ForceType application/x-httpd-php
    <FilesMatch>

    Ca devrait fonctionner ;)
     
  29. PwetPwet
    PwetPwet WRInaute impliqué
    Inscrit:
    7 Mai 2004
    Messages:
    758
    J'aime reçus:
    0
    coucou jolie smarties, vive le quebec :wink: bienvenue sur WRI
     
  30. squawk
    squawk WRInaute accro
    Inscrit:
    22 Mars 2004
    Messages:
    4 792
    J'aime reçus:
    0
    Le topic parlait de deep crawl, j'ai battu mon record aujourd'hui avec plus de 2000 visites de googlebot enregistrée 8O
     
  31. PwetPwet
    PwetPwet WRInaute impliqué
    Inscrit:
    7 Mai 2004
    Messages:
    758
    J'aime reçus:
    0
    bah c'est pour tout le monde, non ? comme d'hab, cela arrive souvent des sauts de Google comme celui ci :?: :arrow:
     
  32. FroZenDooM
    FroZenDooM WRInaute discret
    Inscrit:
    11 Août 2004
    Messages:
    139
    J'aime reçus:
    0
    J'ai une question.
    L'indexation des mes pages a été jusqu'à deux niveaux de lien.

    Le plus important est le troisième mais c'est ce qu'on appelle un Deep Crawl.. et je n'y ai pas encore droit.. çà aive tous les combien?
     
  33. scull
    scull WRInaute discret
    Inscrit:
    11 Mai 2003
    Messages:
    107
    J'aime reçus:
    0
    Pareil google est bien passer sur mon nouveau site, il est passer de 30 pages à 3900 pages !
    Il semblents avoir indéxé jusqu'au niveau 3 facillement.
    Par contre un autre site lui n'a pas bougé, pas de nouvelles pages indexé, et mes forums ont diminuer eux, ils sont passer de 400 pages à 70...
    Il index pas de nouvelle page et gardes encore des vieilles pages qui n'existent plus depuis des mois....
    En attendant, je suis bien content que il soit passer sur mon nouveau site :)
     
  34. Mojy
    Mojy WRInaute occasionnel
    Inscrit:
    22 Août 2004
    Messages:
    348
    J'aime reçus:
    0
    Patience, tout vient à point à qui sait attendre. ;)
    @+ Mojy
     
  35. JeunZ
    JeunZ WRInaute accro
    Inscrit:
    18 Février 2004
    Messages:
    3 971
    J'aime reçus:
    0
    et quand on attend plus? ^^
     
  36. Mojy
    Mojy WRInaute occasionnel
    Inscrit:
    22 Août 2004
    Messages:
    348
    J'aime reçus:
    0
    Suicide ?
    @+ Mojy
     
  37. FroZenDooM
    FroZenDooM WRInaute discret
    Inscrit:
    11 Août 2004
    Messages:
    139
    J'aime reçus:
    0
    Je ne pense pas en arriver là.. mais bon çà fait tout de même plus d 'un mois qu'il a fait son dernier passage.
     
  38. humainbot
    humainbot WRInaute discret
    Inscrit:
    26 Septembre 2004
    Messages:
    178
    J'aime reçus:
    0
    envoi lui une lettre d'invitation avec un cheque pleins de zero..
    non, je rigole.. la patience est le meilleur arme du webmaster.. :)
     
  39. Cendrillon
    Cendrillon WRInaute accro
    Inscrit:
    17 Août 2004
    Messages:
    3 650
    J'aime reçus:
    0
    cela doit venir de ta structure de liens ... ton PR se distribue bien jusqu'au niveau 3 ?
    sinon mets des liens (temporaires) vers le niveau 3 depuis ta page d'index ... :wink:
     
Chargement...
Similar Threads - Deep crawl google Forum Date
Crawl Screaming Frog : comment interpréter ces données ? Crawl et indexation Google, sitemaps 8 Octobre 2020
Search Console Suppression de sous domaines + stop crawl ? Crawl et indexation Google, sitemaps 27 Juillet 2020
Qwant : une étude du crawl Autres moteurs de recherche connus 7 Juillet 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
Le budget crawl Référencement Google 5 Mars 2020
Anomalie 404 lors du crawl Crawl et indexation Google, sitemaps 28 Février 2020
Crawl et indexation de certaines pages Débuter en référencement 30 Décembre 2019
Pages crawlées mais non indexées Crawl et indexation Google, sitemaps 9 Décembre 2019
Impact des crawlers sur le taux de rebond et le référencement Crawl et indexation Google, sitemaps 19 Septembre 2019
Ne pas rendre crawlable le menu ? Référencement Google 15 Septembre 2019