Crawll et google dance

Nouveau WRInaute
Bonsoir,
je subit depuis de matin 6h un crawl ( je ne sais pas si on peut parler de full crawl, je n'en ai jamais vraiment eu, puisque sur 1500 pages seulement 100 sont indexées sur google..)

De plus,
je viens de voir sur mywri que le www-in , un coup j'ai un pr0, un coup une erreur de checksum, un coup mon pr4 habituel..

Pensez vous qu'une google dance se prépare ? (il vient d'en avoir une, ca m'étonnerait mais bon...)
Pensez vous que je subit un full crawl??

Voilà, merci @++
 
A
Anonymous
Guest
ce dont tu parles c'est hier en fin d'après midi que je l'ai eu..
par contre, je suis bien incapable de te dire de quoi il retourne exactement...
 
WRInaute impliqué
J'ai la même chose , alternace PR0 et erreur , c'est dû -je pense- au fait que les pages ne sont pas indéxées encore sur tous les serveurs de Google simultanément .
 
WRInaute occasionnel
y'a un autre topic ou on disait justement avoir remarqué des crawl massif avant les dances... jvé aller voir mes stats pour aujourd'hui ;)
 
Nouveau WRInaute
Petite pause depuis 30mn... je pense qu'il s'est fatigué... mais il m'a fait un paquet de pages je suis content ;)

Ca fait quand meme 6h -> 19h30 non stop 8O

Possible future dance donc??

Edité :
desolé, en fait il a pris des vitamines, c'est reparti !!!
 
WRInaute occasionnel
rien de particulier en vue chez moi... une dizaine de hits seulement... :roll:

d'autre se sont faire dévorrer par gg ? :p
 
Nouveau WRInaute
Apparement là c'est terminé de mon coté...
Pas mal mais pas encore assez...
A quand mon PR5??? pour un vrai full crawl ??

:roll:
 
WRInaute occasionnel
Ah donc lorsqu'on atteint un PR de 5 on a des full crawl régulièrement? Ca serait franchement cool pour moi ca :-D

Vivement aussi mon PR 5 alors :)
 
WRInaute discret
Heu petite question bete ...
un crawl est basé sur une indexation sur 3 niveaux et un full crawl est une indexation sur tous les niveaux de pages du site ?

(désolé suis encore novice ds vos termes ....)

On peut savoir ds son resumé de Mywri le nb de pages indexees de son site .. c comme ca que l'on sait si l'on a un full crawl ? ou un partiel .. ? (dusse t'on savoir le nb de pages de son site ;) ) Bon moi avec 47 ca sera pas dur a verifier !!!!!
 
WRInaute discret
didjiridou a dit:
Ah donc lorsqu'on atteint un PR de 5 on a des full crawl régulièrement? Ca serait franchement cool pour moi ca :-D

Vivement aussi mon PR 5 alors :)

Je suis pas sur que ce soit verifié a chaque fois,

je suis passé en PR5 a la derniere dance et pour l'instant toujours pas de Full Crawl en vue ;)
 
WRInaute accro
Earth Brian a dit:
Heu petite question bete ...
un crawl est basé sur une indexation sur 3 niveaux et un full crawl est une indexation sur tous les niveaux de pages du site ?

Pas forcément. Un full craw peut s'arrêter au troisièe niveau et un craw uniquement sur une dizaine de pages. Ca dépend du PR de la page d'entrée de ton site, du nombre de niveau de ton site. Je suis un site à 2 niveaux, il est chaque fois crawlé sur toutes les pages, mais il y en a à peine une trentaine. et de l'humeur d'un moteur de recherche.
 
WRInaute discret
Bon tant que ca ne fait pas trop mal ;)
J'ai qu'un PR de 4 alors il n'est peut etre pas trop interessé par mon site....

Pour checker le crawl, tu vas ds tes logs et tu regardes qui accede à ta page : style googlebot, et ce suivant les niveaux tu sais si c full ou partiel ?

Peut on considerer que le contenu des pages et des metas (style desc, title, keywords) peut influencer sur le scrutage plus ou moins profond du site ? Pas de mauvaise métaphore ;)
 
Nouveau WRInaute
je n'ai aussi qu'un pr de 4....
c'est bien pour cela que je me pose des questions, puisque d'apres ce que j'ai lu, full crawl =minimum PR5
là jai eu 200 hits google hier je pense et là c'est reparti...

Qu'entends tu par "suivant les niveaux"

Il est passé sur 3 variables déjà, mais il faudrait qu'il passe sur 4 variable ce serait mieux...
pour l'instant c'est pas fait..
Donc pas de full crawl??
 
WRInaute discret
PR5 j'espere aussi bientot ;)

Et bien ds tes logs suivant le niveau en terme de sous répertoire. si je comprends bien le FullC c quand il a tout indexé donc toutes tes pages et tout tes sous repertoires ... donc qd tu lis tes traces suivant le niveau 'de sous repertoire' tu vois s'il a été dans toute l'arborescence de ton site ...?
J'vais aller voir mes traces mais je pense pas que ovh ait mis ses log realtime en ligne ... c'est peut etre decale .. Je regarde peu mais il me semble avoir vu googlebot passer ...
tiens c interessant , j'vais voir !
 
WRInaute occasionnel
mahefarivony a dit:
l'abus de referencement est néfaste pour la santé :mrgreen:
C'est vrai que ca rend fou le référencement !!!!!!!! Je suis toujours pendu à mes stats !!!!!!! :-D
Enfin en attendant, dans le résumé de MyWRI ils me donnent 96 pages de référencées !!! Par contre que 45 apparentes dans google !! :eek: Donc je suppose que c'est en train de se modifier... Et malgré mon petit PR3 je subit qd meme un Crawl :-D
 
WRInaute discret
bah les stats OVH sont en panne pour l'instant ... bientot en temps reel .. mais faut encore attendre (voir post ds forum ovh) ...
Par contre c space j'ai trouvé qu'une occurence de googlebot ds mes stats sur 3J ... et pourtant sur google suis bien remis a jour tous les 2J .....
J'suis ptr' bete mais j'pige pas trop la notion de crawl !!!

Et clair le réfer ca stresse ;)
 
WRInaute occasionnel
Je viens de me faire des scripts pour detecter le passage de google sur mes pages.
J'ai fait ca en plein milieu d'un full crawl qui a suit la GD apparemment.
Plus de 2500 pages par jour crawlées pendant plus de 3 jours, sur les 48000 pages indexées par google.
Ca a l'air fini depuis cet après midi.
Vite, vite une nouvelle GD!!
 
WRInaute occasionnel
milkiway a dit:
Moi je ne l'installe pas à cause des ressources que ça consomme :[

Un outil moins gourmand permet de suivre l'évolution des crawls de Google, il suffit de s'inscrire ici : http://www.interclasse.com/tools/bot-analysis.php

Outre l'intérêt que cela représente pour un site personnel, j'essaye d'identifier des corrélations multi-sites en croisant les analyses de chaque site, mais actuellement il n'y a pas assez de sites inscrits pour pouvoir faire de bonnes déductions.
 
WRInaute impliqué
cadrem a dit:
je suis passé en PR5 a la derniere dance et pour l'instant toujours pas de Full Crawl en vue ;)
Je suis aussi passé à PR5, enfin juste ma page d'accueil, et j'ai remarqué une augmentation très forte de la fréquence de mise à jour de celle-ci dans le cache de Google depuis, pour ce qui est des full Crawl, je n'en sais rien, je n'ai pas d'outils pour le voir, je ne veux pas devenir un mordu des stat, je tiens à ma santé :lol:
 
Nouveau WRInaute
pas de changements de PR pour l'instant, mais je suis passé a +de 500 liens sous google au lieu de 100
ce qui me ramene bcp de monde depuis 2 jours...
je parle pas de backlinks, dommage, aucun changement à ce niveau..
Ni même aucun BL internes....
 
WRInaute occasionnel
Digit a dit:
milkiway a dit:
Moi je ne l'installe pas à cause des ressources que ça consomme :[

Un outil moins gourmand permet de suivre l'évolution des crawls de Google, il suffit de s'inscrire ici : http://www.interclasse.com/tools/bot-analysis.php

Outre l'intérêt que cela représente pour un site personnel, j'essaye d'identifier des corrélations multi-sites en croisant les analyses de chaque site, mais actuellement il n'y a pas assez de sites inscrits pour pouvoir faire de bonnes déductions.
j'utilise ce service aussi... et il mérite d'etre connu...
je reproche juste aux stats de pas êtres précis, mais sinon c'est le must pour comparer tous les éléments d'un coup avant et apres une dance...
 
WRInaute discret
Moi je comprend pas ca fais 1 semaines que je n'ai pas eu de passage de google bot, avant c'était tous les jours... comprend rien.... :cry:
 
Nouveau WRInaute
Robotstats prend vraiment beaucoup de ressources? Je viens juste de l'installer... Chez moi Google bot passe tous les jours sur mon index et je n'ai qu'un PR3 mais bon cette page est tres régulièrement mise à jour... En ce qui concerne mes autres pages... Je vais devoir attendre pour qu'elles soient visitées plus régulièrement ;-)
 
WRInaute accro
Je subit aussi un énorme crawl de google. Depuis ce matin j'ai google qui parcour toutes les pages de mon forum. Et j'avais déjà commencé à le reperer un peu avant hier et hier, mais la c'est vraiment massif au point que je suis en train de mettre en place robotstats pour avoir des chiffres, mais dans le nombre de connectés sur mon forum phpBB il est très présent, et parcour tout le site.

J'ai 5000 topics, 43000 posts, si il s'amuse à tout faire aujourd'hui il va s'amuser :)
 
WRInaute occasionnel
:( bof, chez moi, google a l'air de dormir ! pas de changement du tout.

meme le craw de google actualité est de plus en plus rare !
 
WRInaute passionné
freejeunes a dit:
J'ai 5000 topics, 43000 posts, si il s'amuse à tout faire aujourd'hui il va s'amuser :)

J'espère que tu as mis un robots.txt pour éviter qu'ils te crawlent les posting.php :)
 
WRInaute occasionnel
moi jsuis trop content... et impressioné... je m'arrache les cheveux sur l'url rewriting depuis une semaine... pour me rendre compte que mr gg est venu crawler tous mes tutos ce matin !!!! j'y croyait pas avant ce jour... ils se trouvent sur des url à 5 variables.. :| :| :| (et c'est du 5ème niveau)
c'est terrible !!! :D
 
Nouveau WRInaute
j'hallucine aussi, pour l'instant il a crawle plus de 20000 pages aujourd'hui, c'est le plus grand nombre de pages que je vois depuis l'installation de robotstats y a plus de 6 mois :eek:
 
WRInaute accro
et PAFFFFF google explose lol... mdr...


Bon ba moi j'arrive pas encore à config robotstats il deconne mais bon je vois que google est encore la.


En se qui concerne le robot.txt, ba je m'en était pas encore occupé je ferait ca demain lol... Pauvre de mon serveur qui se fait attaqué par google.
 
WRInaute impliqué
Il me semble qu'ils sont repartis à zéro à un moment, et ils ont toujours plus de pages indexées que Clubicc, donc à mon avis c'est pas si mauvais ;-)
 
WRInaute passionné
Je n'ai pas dit que c'était mauvais, j'étais simplement surpris par le nbre de pages indexées.
 
Nouveau WRInaute
sdamain a dit:
joce a dit:
j'hallucine aussi, pour l'instant il a crawle plus de 20000 pages aujourd'hui, c'est le plus grand nombre de pages que je vois depuis l'installation de robotstats y a plus de 6 mois :eek:

8O Comment se fait il que tu n'ai pas plus de pages indexées : https://www.google.be/search?sourceid=na ... 2Dpc%2Ecom Ton site n'est pourtant pas nouveau, non?
aucune idée , mais non il n'est clairement pas nouveau (bien que trés trés trés mal référencé avant)
 
Nouveau WRInaute
sdamain a dit:
Je n'ai pas dit que c'était mauvais, j'étais simplement surpris par le nbre de pages indexées.
y a bcp de pages qui ne changent pas donc le robot ne se fait pas chier à aller les voir à mon avis :D
 
WRInaute occasionnel
Gros crawl pour moi aujourdhui hier 1708 passages, et aujourd'hui, a 10h30, deja 1691, il est en train de plonger en profondeur dans mon site, et mes classements montent tous les jours, c'est parfait!
 
WRInaute accro
Idem pour moi 4 ème jour de crawl et la hier c'était assez impressionnant et aujourd'hui, il me fait presque battre le record de connectés simultanés sur le forum.

Il s'accharne comme un fou, et pourtant peu de page supplémentaire indexé pour l'instant. 10 sur 232 sur le forum

et 50 sur 400 sur le site.


Alors que je m'attend à doubler voir plus ...
 
WRInaute accro
Je suis aussi PR4. Mais ca bouge beaucoup la ca vient de s'arreter.

Et la semaine derniere j'ai déjà doublé mes pages indexés. Passant de 150 à 300 et la en deux jours je suis passé de 300 a 400.

Mais bon mon nombre totale de page doit avoisiné les 100 000 peut etre donc on est loin du compte... (en comptant les différents forums qui font beaucoups de pages).
 
Nouveau WRInaute
rebelotte, full crawl aujourd'hui :D
je pense vraiment a un changement d'algo maintenant :)
 
WRInaute occasionnel
ca se calme pour moi, apres 3 ou 4 jours de full crawl, seul les pages avec un fort PR sont recrawlées aujourd'hui
 
WRInaute discret
En tous cas, il doit y avoir des nouveaux DC... parce que les résultats qui affiche GG sur mon navigateur sont différents des 12 DC que propose WRI...
 
Nouveau WRInaute
PR3 seulement et j'ai eu mon full crawl aujourd'hui :-D Raaaaa si c'est un nouvel algo... Il me convient tt a fait :-D :-D
 
Nouveau WRInaute
Parce que mon site a a peine trois semaines d'existence google passe ts les jours dessus et aujourd'hui il est passé toute la journée depuis minuit et ça continue encore.

Plutot bon signe pr un bon PR?
J'avais vu un site qui donné une prévision du PR? Qqun peut-il m'en donner l'adresse?
Merci
 
WRInaute occasionnel
Plutot bon signe pr un bon PR?
J'avais vu un site qui donné une prévision du PR?


je pense pas que google précrawl les sites avec un pr qui va monter, vu qu'avant la GD, il n'a pas le calcul du nouveau PR
Si tu trouve un site qui te donne une prévision de PR, c'est qu'il refait le calcul de la GD, et la il est très fort!!

Sinon, finalement je pensais pas etre full crawlé aujourd'hui, meme plus qu'hier puisque j'en suis a 5500 passages pour aujourd'hui par 76 robots google différents!

une GD, vite vite!
 
WRInaute accro
On est tous en attente de cette GGD. Moi je fais le pleins de BL la... Avant ce week end...
 
WRInaute passionné
freejeunes a dit:
On est tous en attente de cette GGD. Moi je fais le pleins de BL la... Avant ce week end...
Ca servira pour la prochaine... La GD, c'est la synthese des crawls effectués depuis la derniere danse. Donc, si tu as de la chance, ils seront pris en compte cette fois-ci, sinon, la prochaine fois.

François
 
WRInaute occasionnel
freejeunes a dit:
On est tous en attente de cette GGD. Moi je fais le pleins de BL la... Avant ce week end...
gg a crawlé mon index au moment ou y'avait un bl vers fj pour le councours mockoland... +1 ;)
 
WRInaute accro
J'ai tout simplement jamais vu ca de ma vie. Ca fais donc je sais pas combien de jours que je suis crawlé par google... Et ca prend des proportions à chaque fois plus grande, si je fais un screen du panneau d'admin phpBB la y a de quoi faire peur à certaines personnes qui n'ont jamais vu un crawl...

Ma scrollbar est IMMENSE, et on voit google dans toutes les sections de mon forum... J'espere que les 40000 posts sont en train de tous se faire indexé... Parsqu'une semaine de crawl dis donc y a de quoi faire.
 
WRInaute accro
En plus pour mes membres de l'hébergement c'est interessant, car sur le forum on fait souvent des liens vers leur sites, quand on fait du support technique, et donc ba ca leur profite aussi :)
 
WRInaute accro
grrrr je sens que je vais me casser vite fait de mon hébergeur et qu'il va m'indemniser :mad:
j'ai perdu cette fameuse super crawl !
 
WRInaute passionné
C'est clair il y a une Dance pour Samedi je pense. Crawl de chez crawl sur un site témoin d'un ami qui subit un crawl 48h avant la Dance depuis longtemps

Il va falloir que j'achète du café !
 
WRInaute occasionnel
Ben tant mieux, je suis enfin référencer dmoz (en 10 jours) et google directory en 21 jours, ne raler pas ;o)
plus une chier de bl, a mon avis, ca va cartonner.


André
 
WRInaute impliqué
Allez je me lance pour un petit pronostic. Quand je vois le nombre de liens fait par certains et leur prévision de PR, j'ai le tournis :wink: Cinq jours après la création de mon site, j'avais une page indexée, après sept jours deux pages indexées et ce jour (le 8 ème) trois, ça monte doucement mais sûrement.
Si la Google dance a lieu ce week-end et que j'ai déjà un PR égal à 1 ce serait déjà bien...suspense :lol:
 
Nouveau WRInaute
Moi c'est toujours impressionant :

google.gif
 
WRInaute occasionnel
bah apres une période d'inactivité de ton site faut laisser un peu de tps au gg bot pour te réindéxer
 
WRInaute occasionnel
A votre avis, une page pr 0 qui deviendras un pr 5 seras t'elle compté en bl (dmoz a changer la direction et donc créer une nouvelle page dans la rubrique)
ou cela ne compteras pas pour cette dance ?
Avis d'expert...

André
 
WRInaute occasionnel
Hier google a remis en cache ma page d'accueil mais poru l'instant il n'y a quel puisque j'ai inscrit mon site seulement il y a 1 semaine je crois (ou 2 :?: ) vous pensez que ça va prendre lontemps pour le reste ?

J'ai également constaté une modification des classements. Je suis premier en tapant le no de mon site alors que je n'étais que 3°. Inutile d'essayer, il y a peu de résultat avec le titre du site, mais ça me sers de référence pour vérifier la présence de mon site sur google.
 
WRInaute accro
ca repart pour ma part:

IP address: 64.68.86.154
Host name: crawler4.googlebot.com


et sinon j'ai celui la 24/24 sur mon site depuis une semaine, et il me depense pleins de bande passante, il a presk chargé 1 gig en 4 jours...

IP address: 65.54.164.101
Host name: msnbot64101.search.msn.com
 
WRInaute impliqué
freejeunes a dit:
ca repart pour ma part:

IP address: 64.68.86.154
Host name: crawler4.googlebot.com


et sinon j'ai celui la 24/24 sur mon site depuis une semaine, et il me depense pleins de bande passante, il a presk chargé 1 gig en 4 jours...

IP address: 65.54.164.101
Host name: msnbot64101.search.msn.com
Fais lui plaisir :) :
Code:
$tmp_list = explode(".", $REMOTE_ADDR);
if ($tmp_list[0] == "65" && $tmp_list[1] == "54" )
{
	exit;
}
 
WRInaute discret
freejeunes a dit:

Bon ok,
ça bloque toutes les requetes qui viennent de 65.54.*.*
Comme ça, plus de Go consommés, et plus de référencement non plus.

Je te conseille de le laisser aspirer tranquillement ton site si tu veux te référencer dans msn.
 
WRInaute accro
ba vi je laise faire, la c'est un bot "inktomi" qui arrive...

Ca fais une semaine je suis harcelé allez j'arrete de me plaindre c'est bon signe ;-)
 
WRInaute accro
bon les gars, si vous vous interessez au referencement, c'est clair qu'il vous faut l'hébergement qui va bien avec ;-)
 
WRInaute accro
éh hé de ce coté en tant qu'hébergeur je m'en sors bien lol. J'ai des giga tout pret pour ces bots ;-)


Ca fais plaisir kan meme de voir tout ce monde s'activé dans les logs lol.
 
Discussions similaires
Haut