Fullcrawl en cours?

Discussion dans 'Crawl et indexation Google, sitemaps' créé par anguenot.com, 24 Janvier 2004.

  1. anguenot.com
    anguenot.com WRInaute impliqué
    Inscrit:
    14 Mai 2003
    Messages:
    644
    J'aime reçus:
    0
    GGBot très actif la nuit dernière. Idem chez vous?
     
  2. mahefarivony
    mahefarivony WRInaute accro
    Inscrit:
    14 Octobre 2002
    Messages:
    8 175
    J'aime reçus:
    0
    ca a pas arreté de toute la semaine chez moi
     
  3. yannouk
    yannouk WRInaute passionné
    Inscrit:
    11 Octobre 2003
    Messages:
    1 568
    J'aime reçus:
    0
    moi on peut pas dire qu'il soit tres actif 3-4 pages par jour
     
  4. moutyk
    moutyk WRInaute impliqué
    Inscrit:
    1 Mars 2003
    Messages:
    524
    J'aime reçus:
    0
    Salut

    Moi aussi hyper actif depuis environ 3 jours :)

    Bye
     
  5. sdamain
    sdamain WRInaute passionné
    Inscrit:
    14 Octobre 2003
    Messages:
    1 070
    J'aime reçus:
    0
    Chez moi c'est le calme plat, 2 a 3 visites par jour depuis plusieurs semaines. :(
     
  6. DAVID86
    DAVID86 WRInaute impliqué
    Inscrit:
    15 Octobre 2003
    Messages:
    834
    J'aime reçus:
    0
    3-4 aujourd'hui, 10 à 15 par jour depuis une semaine... en" full crawl", c'est plutot entre 500 et 1000/j
     
  7. David@site
    David@site WRInaute occasionnel
    Inscrit:
    14 Janvier 2004
    Messages:
    329
    J'aime reçus:
    0
    Moi aussi ca a full crawler cette semaine, et la il l'arrete pas de revenir mm en pleine journée...
     
  8. Americas
    Americas WRInaute accro
    Inscrit:
    24 Septembre 2003
    Messages:
    2 587
    J'aime reçus:
    0
    Il bosse aussi le jour :lol:
     
  9. David@site
    David@site WRInaute occasionnel
    Inscrit:
    14 Janvier 2004
    Messages:
    329
    J'aime reçus:
    0
    ben c'est la premiere pour moi enfin mon site n'as qu'un mois, avant il faisait 3-6h du mat
     
  10. yannouk
    yannouk WRInaute passionné
    Inscrit:
    11 Octobre 2003
    Messages:
    1 568
    J'aime reçus:
    0
    oui moi aussi c souvent vers ces eaux la
     
  11. achaternet
    achaternet WRInaute discret
    Inscrit:
    11 Février 2003
    Messages:
    222
    J'aime reçus:
    0
    Moi 1000 pages hier 8O
     
  12. Digit
    Digit WRInaute occasionnel
    Inscrit:
    18 Avril 2003
    Messages:
    441
    J'aime reçus:
    1
    Cette conversation revient souvent.
    Il faudrait placer des agents témoins sur différents sites (un petit include sur quelques pages php) qui créraient un simple fichier texte contenant le nb de pages crawlées sur les 5 derniers jours (5 petits compteurs à incrémenter). Cela ne surchargerait pas les sites, n'occupe pas grand chose sur disque, ne requiert pas de base sql, et permettrait de consulter cette info par tout le monde depuis une URL identifiée. L'idéal étant qu'un serveur en central aille lire ce fichier tous les jours sur tous les sites de cette opération et consolide cela dans un graph mis à disposition de tous les participants. Si en plus on informe le serveur central du PR de la page principale du site, le graphe peut être évolué afin de produire une analyse sur 3 axes, (temps, pages, PR). Il faudrait aussi fournir l'info du nb de pages total du site et du nb de pages totales du site dans google, et du nb de pages ayant l'agent actif.
    Ca vous branche ?
     
  13. achaternet
    achaternet WRInaute discret
    Inscrit:
    11 Février 2003
    Messages:
    222
    J'aime reçus:
    0
    ouaip, mais ça va qd mm demander bcp de hits, voir plusieurs connexions simultanées a la BDD -> serveur dedié...
     
  14. achaternet
    achaternet WRInaute discret
    Inscrit:
    11 Février 2003
    Messages:
    222
    J'aime reçus:
    0
    la vache:

    liste des crawlers hier:

    crawler1.googlebot.com
    crawler2.googlebot.com
    crawler3.googlebot.com
    crawler4.googlebot.com
    crawler8.googlebot.com
    crawler9.googlebot.com
    crawler10.googlebot.com
    crawler11.googlebot.com
    crawler12.googlebot.com
    crawler13.googlebot.com
    crawler14.googlebot.com
    crawler15.googlebot.com

    ouf :lol:
     
  15. Digit
    Digit WRInaute occasionnel
    Inscrit:
    18 Avril 2003
    Messages:
    441
    J'aime reçus:
    1
    Non, je ne pense pas. Les compteurs sont calculés localement sur chaque site (lire le contenu du fichier, incrémenter le compteur, réécrire le fichier => pas de sql), récupérés une fois par jour en central, le graph est calculé en central une fois par jour pour générer les éléments statiques (page html, gif...). Les calculs peuvent être faits sans base de donnée (simple matrice à analyser).
    Je propose d'héberger ces résultats et le moteur de calcul/consolidation, ainsi que les infos associées (liste et caractéristiques des sites participants, formulaires etc...). Je propose aussi de placer un lien en dur vers tous les sites participants afin qu'ils obtiennent une reversion de PR en échange de leur participation, comme ça c'est gagnant/gagnant.
    Le tout peut être fait sous forme open-source / GNU et permettre à tout le monde d'améliorer le système.
     
  16. achaternet
    achaternet WRInaute discret
    Inscrit:
    11 Février 2003
    Messages:
    222
    J'aime reçus:
    0
    ok, exact. il n y aura pas de soucis

    :arrow: Suis partant; go go go
     
  17. Haq
    Haq WRInaute passionné
    Inscrit:
    29 Août 2002
    Messages:
    1 654
    J'aime reçus:
    0
    Moi je dis que c'est une excellente idée ! Ca avait été proposé il y a déjà plusieurs mois dans le cadre de GoogleStats, mais à ma connaissance ça s'était arrêté à des paroles...

    aK.
     
  18. DAVID86
    DAVID86 WRInaute impliqué
    Inscrit:
    15 Octobre 2003
    Messages:
    834
    J'aime reçus:
    0
    Pas de problème, si c'est lancé, je participe
    Romain
     
  19. legolfquebecois
    legolfquebecois WRInaute discret
    Inscrit:
    2 Janvier 2004
    Messages:
    76
    J'aime reçus:
    0
    Salut

    Moi il a crawler toutes les pages 2 fois cette semaine, dimanche dernier et aujourd,hui
     
  20. Digit
    Digit WRInaute occasionnel
    Inscrit:
    18 Avril 2003
    Messages:
    441
    J'aime reçus:
    1
    Comme à priori ça intéresse du monde, j'ai commencé à préparer une page contenant toutes les infos ici.
    L'agent est développé, je démarre le développement des inscriptions, ensuite je ferai le système de consolidation.
     
  21. DAVID86
    DAVID86 WRInaute impliqué
    Inscrit:
    15 Octobre 2003
    Messages:
    834
    J'aime reçus:
    0
    Un seul mot : Bravo et rapide lol
    je m'occupe de mettre ça en place sur mon site lundi... peut être que ce code pourrait être inséré dans celui de robotstat? (avec une option en admin a cocher décocher???)
    Ce qui permettrait de faire la même chose sur... l'ensemble des moteurs
    Romain
     
  22. BadProcESs
    BadProcESs WRInaute passionné
    Inscrit:
    28 Juillet 2003
    Messages:
    1 841
    J'aime reçus:
    0
    Moi aussi je suis partant, je vous suit ;)

    Sinon je ne suis pas tout à fait d'accord avec David86 car, comme cela doit être le cas de plusieurs autre personne sur ce site, mon site est en asp, donc pas de RobotStat...
     
  23. DAVID86
    DAVID86 WRInaute impliqué
    Inscrit:
    15 Octobre 2003
    Messages:
    834
    J'aime reçus:
    0
    ops... voui, désolé
    Mais... il va donc falloir développer une version ASP de cet agent :)
    Romain
     
  24. BadProcESs
    BadProcESs WRInaute passionné
    Inscrit:
    28 Juillet 2003
    Messages:
    1 841
    J'aime reçus:
    0
    Je suis preneur aussi alors dans ce cas ! ;)
     
  25. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 079
    J'aime reçus:
    333
    il y a une version ASP de RobotStats qui est en train de voir le jour... + d'infos bientôt sur le forum RobotStats

    sinon Digit, à quoi sert le checksum dans ton formulaire ?
     
  26. Digit
    Digit WRInaute occasionnel
    Inscrit:
    18 Avril 2003
    Messages:
    441
    J'aime reçus:
    1
    Le checksum sert à calculer le PR de la page principale du site, ce qui permet de générer des rapports en regroupant les sites par PR, car je pense qu'il y a une corrélation entre le PR, le nb de page, la qualité technique du site et la fréquence de passage.
    Les rapports générés mettront justement cela en évidence.
    Le système est prêt à recevoir les inscriptions, les rapports seront développés la semaine prochaine lorsque je pourrais récupérer quelques logs.
     
  27. DAVID86
    DAVID86 WRInaute impliqué
    Inscrit:
    15 Octobre 2003
    Messages:
    834
    J'aime reçus:
    0
    je suis béa d'admiration... :D
     
  28. BadProcESs
    BadProcESs WRInaute passionné
    Inscrit:
    28 Juillet 2003
    Messages:
    1 841
    J'aime reçus:
    0
    Alors ca c'est cool ! Ca faisait un moment que j'attendai ca ! :)
     
Chargement...
Similar Threads - Fullcrawl cours Forum Date
Search Console En cours de traitement depuis 2 mois Crawl et indexation Google, sitemaps 16 Novembre 2019
Propriété intellectuelle : recours en cas copie complète Droit du web (juridique, fiscalité...) 4 Octobre 2019
Grosse volatilité des résultats en cours (MàJ Google ?) Référencement Google 30 Août 2019
Que pensez-vous de mon site de cours d'anglais ? Demandes d'avis et de conseils sur vos sites 22 Août 2019
Conseils sites en cours de développement Débuter en référencement 2 Juillet 2019
Moteur Premsgo, concours graphique? Autres moteurs de recherche connus 11 Avril 2019
je bosse en chaussettes ! (concours de référencement) Débuter en référencement 11 Janvier 2019
Sitemap en cours de traitement depuis plusieurs semaines Problèmes de référencement spécifiques à vos sites 9 Juillet 2018
Présentation application Partage de Courses Développement d'un site Web ou d'une appli mobile 13 Mars 2017
Concours référencement - des conseils? Débuter en référencement 17 Février 2017
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice