Full crawl de février 2003 et URL rewriting

Discussion dans 'URL Rewriting et .htaccess' créé par hetzeld, 29 Janvier 2003.

  1. hetzeld
    hetzeld WRInaute passionné
    Inscrit:
    2 Décembre 2002
    Messages:
    1 603
    J'aime reçus:
    0
    Bonjour à tous,

    Le "full crawl" ne saurait tarder, maintenant que www, www2 et www3 ont l'air stabilisés.
    Les recherches sur AOL donnent pour moi les mêmes résultats que les recherches Google.

    Suite à la mise en place de l'URL rewriting par un certain nombre de membres qui ont suivi l'article publié sur le site, il serait instructif de mentionner ici le nombre de pages vues par les deep crawlers dans les jours qui viennent.

    Pour ma part, comme j'avais expérimenté chez moi le mois dernier - histoire de ne pas vous raconter trop de bêtises dans l'article :wink: , je passe de 80 pages indexées à 995 lors du dernier crawl.

    Cela a fait sérieusement monter mes backlinks internes et le PR a suivi :wink:
    J'ai comptabilisé sur -http://immo.wildcroft.com:
    Depuis le dernier crawl, aucune nouvelle page de mon site n'a échappé à la sagacité du grand G., c'est cool

    Le site de mon pote: -http://www.cadrissimo.fr mis en place le 13 janvier, comptabilise déjà plus de 200 visites de GoogleBot et a ce matin 80 pages dans l'index :lol:

    Dan
     
  2. annuat
    annuat WRInaute discret
    Inscrit:
    12 Décembre 2002
    Messages:
    224
    J'aime reçus:
    0
    salut Dan!!

    Le deepcrawl intervient en général combien de temp après la GD ? il dure combien de temps ?

    merci
    ++nico
     
  3. deblok
    deblok WRInaute occasionnel
    Inscrit:
    17 Octobre 2002
    Messages:
    394
    J'aime reçus:
    0
    Juste aprés.
    5 jours
     
  4. ¥€$
    ¥€$ WRInaute impliqué
    Inscrit:
    5 Décembre 2002
    Messages:
    927
    J'aime reçus:
    0
    Salut,
    c'était pas stable y a encore 5 minutes... 8O
    Une question : pourquoi Google remet sa base a jour 1 fois par mois et non pas en continu ?
     
  5. deblok
    deblok WRInaute occasionnel
    Inscrit:
    17 Octobre 2002
    Messages:
    394
    J'aime reçus:
    0
    Il met la base à jour en continu ... mais la grosse mise à jour ce fait 1 fois par mois
     
  6. annuat
    annuat WRInaute discret
    Inscrit:
    12 Décembre 2002
    Messages:
    224
    J'aime reçus:
    0
    merci deblok
     
  7. MrFab
    MrFab WRInaute discret
    Inscrit:
    31 Décembre 2002
    Messages:
    62
    J'aime reçus:
    0
    Sur Janvier : 3500 visites de Googlebot (huhu), je suis passé de 28 pages référencées à 3300 grâce à l'url rewriting, à la suppression des PHPSESSID... Pfiou je viens de loin :?


    J'voudrais en profiter pour remercier tous ceux qui ont pu me filer un coup de main, parce que sans vous (et sans WRI forcément) j'aurais jamais pu m'en sortir. BIG BIG merci (surtout à Hetzeld qui est tjs là pour répondre aux questions idiotes !)

    J'aurai plus d'historique le mois prochain, comme j'ai installé Googlestats début janvier.
     
  8. hetzeld
    hetzeld WRInaute passionné
    Inscrit:
    2 Décembre 2002
    Messages:
    1 603
    J'aime reçus:
    0
    C'est super ! S'il n'y en avait qu'un à profiter de l'URL rewriting, cela vaudrait quand même le coup d'écrire un article..., de 28 à 3300....pffff!

    Si tes liens internes sont bien fichus, tu devrais voir un accroissement de PR le mois prochain, comme il y a toujours un mois d'écart (le PR est calculé sur les données du full crawl qui précède). On croise les doigts pour toi !

    Dan

    PS: j'espère quand même que je ne répond pas qu'à des questions idiotes.... :wink:
     
  9. deblok
    deblok WRInaute occasionnel
    Inscrit:
    17 Octobre 2002
    Messages:
    394
    J'aime reçus:
    0
    Je ne suis pas sur, à moins que mes liens interne soit mal fichu ?!?.
    Google dance de décembre:
    64 à 92 baklinks
    5700 pages à 23000 pages indéxés

    Google dance de décembre:
    92 à 100 backlinks (seulement :?: :!: )
    de 23000 à 28000 pages

    Et mon PR 5 n'as pas bougé :?
    Enfin quand même la pluplart des pages secondaires sont passés de PR4 à PR5.
     
  10. hetzeld
    hetzeld WRInaute passionné
    Inscrit:
    2 Décembre 2002
    Messages:
    1 603
    J'aime reçus:
    0
    Est-ce-que toutes ces pages secondaires ont un lien direct vers ta page d'accueil?

    Dan
     
  11. deblok
    deblok WRInaute occasionnel
    Inscrit:
    17 Octobre 2002
    Messages:
    394
    J'aime reçus:
    0
    Oui toutes mes pages ont un lien vers la page d'accueil.
     
  12. MrFab
    MrFab WRInaute discret
    Inscrit:
    31 Décembre 2002
    Messages:
    62
    J'aime reçus:
    0
    Dan : les "questions idiotes", c'était pas dans l'intention de déprécier ton travail, tu sais =))
     
  13. hetzeld
    hetzeld WRInaute passionné
    Inscrit:
    2 Décembre 2002
    Messages:
    1 603
    J'aime reçus:
    0
    J'avais compris ! Il y avait d'ailleurs le smiley en fin de ligne :wink:
     
  14. mahefarivony
    mahefarivony WRInaute accro
    Inscrit:
    14 Octobre 2002
    Messages:
    8 175
    J'aime reçus:
    0
    bon alors, ca commence ou pas ?

    ai eu 2 misérables googlebot qui se sont baladés sur mon site today...

    J'attends la deep crawl avec impaaaaaaaatiieeeeeeeeeence !!!
     
  15. Aktivist
    Aktivist WRInaute discret
    Inscrit:
    23 Août 2002
    Messages:
    204
    J'aime reçus:
    0
    Je n'ai jamais vu sur mon site d'adresses ip caracterisant le full crawl.

    Je n'ai toujours vu que les crawler... pourtant toutes mes pages sont indexer. Peut-etre parce que mon site n'a pas beaucoup de page ?
     
  16. alain-b
    alain-b WRInaute occasionnel
    Inscrit:
    17 Décembre 2002
    Messages:
    338
    J'aime reçus:
    0
    Un peu violent le crawl Google de ce matin sur mon site.... Jusqu'a 4 requetes par seconde en provenance des differents crawlers!!

    résultat la base de données saturée et le site inaccessible de 8h45 a 9h.

    Réponse d'Ovh- un pb ce matin sur les serveur SQL fixé a 10h ...

    et Exabot était aussi de la partie. Peut etre que les bots n'y sont pour rien mais j'avais jamais vu des requetes ausi peu espacées.
     
  17. hetzeld
    hetzeld WRInaute passionné
    Inscrit:
    2 Décembre 2002
    Messages:
    1 603
    J'aime reçus:
    0
    Cela doit-être dû au problème SQL, parce que Google est un modèle de bonne conduite.
    C'était un bot en 64 ou en 216 ? Tu tiens peut-être un scoop :wink:

    Dan
     
  18. alain-b
    alain-b WRInaute occasionnel
    Inscrit:
    17 Décembre 2002
    Messages:
    338
    J'aime reçus:
    0
    Depuis que j'entends parler d'adresses des bots ... C'est l'occasion de poser la question : Vous les voyez ou ces IP ??

    Chez moi les logs se présentent comme ca :

    crawler12.googlebot.com web18 - [31/Jan/2003:09:10:00 +0100] "GET /annuaire- .... "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"

    crawler11.googlebot.com web10 - [31/Jan/2003:09:10:00 +0100] "GET /annuaire-vi .... "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"

    crawler11.googlebot.com web14 - [31/Jan/2003:09:10:00 +0100] "GET /annuaire-arch ..... "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"

    crawler11.googlebot.com web10 - [31/Jan/2003:09:11:00 +0100] "GET /annuaire-psycho ..... -" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"

    crawler11.googlebot.com web14 ...

    ( j'ai mis les ... pour raccourcir l'url)

    Alain.
     
  19. annuat
    annuat WRInaute discret
    Inscrit:
    12 Décembre 2002
    Messages:
    224
    J'aime reçus:
    0
    salut alain

    je les vois avec le module php "les visiteurs", assez pratique pour un suivi quotidien...

    a+nico
     
  20. hetzeld
    hetzeld WRInaute passionné
    Inscrit:
    2 Décembre 2002
    Messages:
    1 603
    J'aime reçus:
    0
    Salut,

    En fait, tu ne vois pas les IP car ton serveur Apache fait un ' DNS lookup' et les transforme en noms.
    Les noms de bots que tu donnes correspondent au "Fresh Bot" .
    En fait, en se basant sur les noms:
    crawlern ou crawlernn sont les freshbots (IP 64.X)
    crawln ou crawlnn sont les full crawlers (IP 216.X)

    Dan
     
  21. alain-b
    alain-b WRInaute occasionnel
    Inscrit:
    17 Décembre 2002
    Messages:
    338
    J'aime reçus:
    0
    merci pour ces infos.

    le résultat c'est que j'ai maintenat plusieurs pages dans l'indexe google avec un message d'errreur et un contenu partiellement vide.
    Comme je fais un die(message); sur les erreurs de connexion a Mysql, les pages ne sont pas fermées correctement - pas de fin de tag Table , Body et HTML.. je trouve surprenant que google remplace des pages intègres par ces bouts de pages.

    j'ai pensé faire un include a partir de sauvegarde des differentes rubriques plutot qu'un die() ...
     
  22. eljulien
    eljulien Guest
    pas tout compris, c'est quoi la différence entre fullcraw let deepcrawl
     
  23. hetzeld
    hetzeld WRInaute passionné
    Inscrit:
    2 Décembre 2002
    Messages:
    1 603
    J'aime reçus:
    0
    Salut,

    Je vois que tu es nouveau et, comme beaucoup de nouveaux d'ailleurs, tu ne t'es pas véritablement donné la peine de lire la FAQ. :wink:

    Cette page t'intéressera sûrement : https://www.webrankinfo.com/dossiers/debutants/google-dance

    Bonne lecture!

    Dan
     
  24. eljulien
    eljulien Guest
    en fait j'ai lu quasiment tout les dossiers du site, mais pas la FAQ, faut dire qu'il y a énormément de questions posées sur la FAQ et que c'est parfois dur de s'y retrouver même si les questions sont assez bien classées.
     
  25. hetzeld
    hetzeld WRInaute passionné
    Inscrit:
    2 Décembre 2002
    Messages:
    1 603
    J'aime reçus:
    0
    Bon, alors je t'aide un peu... :wink:

    Le "full (complet) crawl" ou "deep (profond) crawl" sont deux noms pour un seul type d'indexation, à savoir l'indexation "en profondeur" de tout le site. Ceci bien sûr sous réserve que les pages soient "indexables" (pas + de 2 arguments, pas d'instructions contraires dans les <META....>
    Il intervient une fois par mois, après la google dance et dure environ 1 semaine.
    L'index récolté sert de base de calcul pour la googledance qui suit.

    Par opposition, le "fresh (frais) crawl" est une mise à jour régulière de certaines pages, qui intervient entre deux "full crawl". Les pages visitées par le "fresh bot" sont marquée d'une "date fraîcheur" et ne restent dans l'index que 2 jours, après quoi elles sont remplacées par la version "en cache".

    Dan
     
  26. eljulien
    eljulien Guest
    Merci à toi hetzeld,c'est exactement ce que je voulais.
     
  27. hetzeld
    hetzeld WRInaute passionné
    Inscrit:
    2 Décembre 2002
    Messages:
    1 603
    J'aime reçus:
    0
    Bonjour à tous,

    Vous aurez sans doute remarqué que j'ai dû faire un peu de "ménage" comme on en arrivait au règlement de compte entre deux "lycéens" qui prenaient WRI pour leur cour de récréaion.

    J'espère que l'incident est maintenant clos et profite de l'occasion pour rappeler à tous que les attaques personnelles ne sont pas admissibles sur ce forum et que nous devons tous contribuer à les éliminer.

    Si vous subissez une attaque personnelle, n'entrez pas dans le jeu du provocateur et prévenez plutôt un modérateur de la situation. Les "attaquants" se décrédibilisent d'ailleurs très vite d'eux-mêmes et il est inutile d'entretenir une discussion stérile.

    Merci d'avance !

    Dan
     
  28. elteor
    elteor Nouveau WRInaute
    Inscrit:
    12 Novembre 2002
    Messages:
    48
    J'aime reçus:
    0
    ha ben tout s'explique c'est pour ca que j'avais un mail me prevenant d'une reponse sur un message et lorsque je suis arrivé ici pfut plus rien :wink:

    Hetzeld "l'homme de ménage" du forum WRI :lol:
     
  29. hetzeld
    hetzeld WRInaute passionné
    Inscrit:
    2 Décembre 2002
    Messages:
    1 603
    J'aime reçus:
    0
    Salut Elteor,

    Les messages que j'ai supprimé étaient "hors charte" et aucun ne te concernait véritablement. Disons qu'on a fait le nécessaie pour enlever quelques messages qui n'intéressaient personne et demandé aux intéressés de continuer leur règlement de compte par messagerie privée s'ils le souhaitaient.

    Dan
    L'homme de ménage :wink:
     
  30. champignac
    champignac Nouveau WRInaute
    Inscrit:
    13 Décembre 2002
    Messages:
    46
    J'aime reçus:
    0
    Deep crawl

    Je suis un peu inquiet , je ne vois toujours pas le google bot dans mes logs. Est ce que je suis le seul ou y'a t il des sites dans le même cas ? :cry:
     
  31. MrFab
    MrFab WRInaute discret
    Inscrit:
    31 Décembre 2002
    Messages:
    62
    J'aime reçus:
    0
    pareil. Le full crawl semble ne pas avoir encore commencé. Du moins pour ma part.
     
  32. champignac
    champignac Nouveau WRInaute
    Inscrit:
    13 Décembre 2002
    Messages:
    46
    J'aime reçus:
    0
    Ouf ca me rassure je commencais a me posser des questions
     
  33. Eservice
    Eservice WRInaute passionné
    Inscrit:
    18 Septembre 2002
    Messages:
    1 204
    J'aime reçus:
    0
    Bonjour, je n'ai pas encore vu non plus passer le deep crawl mais il n'y a pas de quoi s'inquiéter : les OR nous apprennent la patience, même google ;)

    Il suffit de suivre les conseils de référencement de WRI et entre temps, mettre à jour son contenu, optimiser ses mots clés et augmenter ses liens entrants (externes et internes), sans tricher évidemment.

    En se focalisant sur le référencement et le positionnement, on a tendance à passer le contenu au second plan alors que c'est l'essentiel.
     
  34. champignac
    champignac Nouveau WRInaute
    Inscrit:
    13 Décembre 2002
    Messages:
    46
    J'aime reçus:
    0
    Entièrement d'accord, mais en l'occurence j'attend le full crawll pour valider mon rewritting, et la fin du full crawll pour changer de serveur (nom de domaine ), voila pourquoi je suis un peu impatient 8)
     
  35. mahefarivony
    mahefarivony WRInaute accro
    Inscrit:
    14 Octobre 2002
    Messages:
    8 175
    J'aime reçus:
    0
    "anne ma soeur anne... ne voyez vous rien venir encore ? :lol: "

    changement de nom de domaine ?? tu repars de zero alors ?
     
  36. champignac
    champignac Nouveau WRInaute
    Inscrit:
    13 Décembre 2002
    Messages:
    46
    J'aime reçus:
    0
    Non je ne pense pas car j'utilise un dns dynamique en ath.cx,

    une fois le deep crawl terminé, je fait pointer le site en ath.cx par redirect sur le nouveau domaine en . com.

    Ce qui me permet de garder les bénéfice du full crawll apres la dance de fin février, et normalement d'éviter un black listage ou d'être mal référencé pour duplicate content par google. enfin je crois si j'ai bien compris le principe...

    Un grand googler pourra peut être me donner son avis :roll:
     
  37. champignac
    champignac Nouveau WRInaute
    Inscrit:
    13 Décembre 2002
    Messages:
    46
    J'aime reçus:
    0
    Le full crawl a commencé sur mon site yes ! déja 1135 pages au lieu des 10 du dernier full crawll et des 400 au dernier fresh bot !
     
  38. hetzeld
    hetzeld WRInaute passionné
    Inscrit:
    2 Décembre 2002
    Messages:
    1 603
    J'aime reçus:
    0
    C'est à mettre au rang des bonnes nouvelles ! :wink:
    Moi j'attend toujours le deep crawl mais mon URL rewriting est déjà "ancien", donc il ne devrait pas avoir de grosses différences par rapport à Janvier.

    A+

    Dan
     
  39. champignac
    champignac Nouveau WRInaute
    Inscrit:
    13 Décembre 2002
    Messages:
    46
    J'aime reçus:
    0
    oui C une bonne nouvelle, en revanche le bot c'est arrétté subiitement, alors qu'il reste des pages a consulter est ce normal ? va t il revenir ?
     
  40. hetzeld
    hetzeld WRInaute passionné
    Inscrit:
    2 Décembre 2002
    Messages:
    1 603
    J'aime reçus:
    0
    Il peut revenir pendant plusieurs jours. Laisses-en un peu pour les autres :wink:

    Dan
     
  41. champignac
    champignac Nouveau WRInaute
    Inscrit:
    13 Décembre 2002
    Messages:
    46
    J'aime reçus:
    0
  42. mgprod
    mgprod Nouveau WRInaute
    Inscrit:
    6 Février 2003
    Messages:
    36
    J'aime reçus:
    0
    full crawl ???

    bonjour a tous,

    je ne vois plus trop l'interet du full crawl
    etant donné que lorsque je bouge une virgule
    sur mes pages elles sont systematiquement
    revisitées et re indexées dans les 48 heures
    qui suivent... il semble que toutes les bases
    de données se remettent a jour et recalculent
    le positionnement a chaque fois ??? Il n'y a plus
    que le nombre de backlink et le pr qui restent
    mensuel ??? Avez vous constaté la meme chose ???

    a bientot, marc
    mgprod selection - http://mgprod.online.fr/
     
  43. hetzeld
    hetzeld WRInaute passionné
    Inscrit:
    2 Décembre 2002
    Messages:
    1 603
    J'aime reçus:
    0
    mgprod,

    Lorsque tes pages sont visitées par le "fresh bot" et intégrées dans l'index, elles n'y ont qu'une durée de vie d'environ 48heures. Elles sont d'ailleurs marquées d'une date fraîcheur qui, tu l'auras remarqué, n'a jamais plus de 2 jours d'ancienneté.

    Une fois enlevées, elles sont remplacées par le page "en cache", à savoir la page visitée lors du dernier "deep crawl" ou par "rien du tout" si le site n'a pas encore subi cette indexation en profondeur (cas d'un nouveau site).
    C'est la même chose pour tout le monde.

    Le deepcrawl permet à Google de virer les pages qui n'existent plus, et de calculer les backlinks, le tout étant finalisé par la "GoogleDance" qui suit à la fin du mois, avec l'affichage du nouveau PageRank.

    Dan
     
  44. champignac
    champignac Nouveau WRInaute
    Inscrit:
    13 Décembre 2002
    Messages:
    46
    J'aime reçus:
    0
    J'ai eu tort de m'inquieter , en revanche j'espere en avoir laissé pour les autre ( voir plus haut ).A l'heure actuelle : 9006 pages recupérées par le crawler ! :D
     
  45. mgprod
    mgprod Nouveau WRInaute
    Inscrit:
    6 Février 2003
    Messages:
    36
    J'aime reçus:
    0
    date de fraicheur

    bonjour,

    merci dan pour ta reponse,
    en y reflechissant la frequence hebdomadaire de mise a jour
    de mon site doit faire qu'il se retrouve pratiquement en
    permanence avec une date de fraicheur...

    a bientot, marc
    mgprod selection - http://mgprod.online.fr/
     
  46. AUDINET
    AUDINET WRInaute discret
    Inscrit:
    20 Mai 2005
    Messages:
    229
    J'aime reçus:
    0
    Bonjour,

    Dit MrFab peux tu m'en dire plus sur la façon de rewriter les phpsessdi dans ton htaccess ?

    d'avance merci
     
Chargement...
Similar Threads - Full crawl février Forum Date
Référencement d'un site full javascript (angular js) Référencement Google 10 Septembre 2019
Recherche full-texte Développement d'un site Web ou d'une appli mobile 31 Janvier 2015
Lien facebook et connexion en partie haut de son site et en full site Débuter en référencement 9 Août 2014
Menu Vs footer full site pour les liens Débuter en référencement 30 Juillet 2014
Footer full site: du texte et des liens Débuter en référencement 26 Septembre 2012
Barre Full Width Développement d'un site Web ou d'une appli mobile 23 Juin 2012
Guide et annuaire touristique, full HTML5, versions classique et mobile Annuaires et moteurs 28 Avril 2012
site en full flash. Développement d'un site Web ou d'une appli mobile 29 Décembre 2011
Recherche fulltext mot féminin et pluriel ? Développement d'un site Web ou d'une appli mobile 18 Mars 2011
Passer un site en full https Rédaction web et référencement 21 Février 2011
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice