Premiers passages du Deep Crawler - C'est parti !

:lol:

1 passage chez moi aussi

 

Moi aussi enfin ... mon changement d'hébergement n'a finalement pas été fatal. Ouufff !

1 viste à 2h55
et 4 entre 8h24 et 8h27
par
216.239.46.100
216.239.46.121
216.239.46.220
216.239.46.27

... et ça continue !

Pour info et étant chez OVH, j'ai fait la modif proposée par hetzeld (désactivation du name lookup).
N'ont-ils pas été rétablis ?
Ce changement est-il définitif ?

@ +

 

Idem, premier passage à 2h26 cette nuit

François

 

ca y est moi aussi c'est parti
Par contre, ce qui est bizarre c'est qu'il vient indexer les pages deja connu apparemment il ne suit pas les nouveaux liens mais garde les anciens liens en place, je m'explique
j'ai mis en place l'url Rewriting et la il vient indexer les pages ma_page.php?toto=1 alors que mes liens sont du type ma_page_1.html depuis + d'une semaine!!!! Or le fresh bot est passé indexe mes pages ma_page_1.html !!!

 

J'ai exactement l même chose que toi. Le deep crawl continue a visiter mes anciens liens mais ne suit absolument pas les nouvexu mis en palce avec l'url rewriting depuis un mois :? Je desespere là ....

Mes sites comptent plus de 8000 pages chacun, et il n'en a visiter qu'une dizaine ce matin. Exemple des pages qu'il a visiter ce matin :

Comment expliqué vous ça ??? D'autant plus que le lien vers la page mis en gras ci dessus (/index.php?SRC=forum) n'existe plus nul part ????

 

Enfin !!!!

Le googlebot est passé aussi sur mon site. Etant donné que les fresh bots n'étaient jamais passés, je m'inquiètais de ne pas avoir celui du full crawl, mais il est bien venu, mais seulement une seule fois à 7h44 ce matin.

 

Oui mais le problème c'est qu'il ne va PAS DU TOUT visiter les nouveaux liens. Il fait comme si il n'analysait pas les pages. J'ai l'impression qu'il ne suit pas les liens sur les pages qu'il trouve. Il y a une limite en nombre de liens par page qu'ils visitent (notamment un forum phpbb qui contient pas mal de liens) ?

Je ne comprends plus rien. J'avais même mis certains liens en absolu pour eviter le phpsesid, etc... :cry: :cry: :cry:

 

Salut a tous!

J'ai EXACTEMENT le meme problemes que les amis BDgest et Sglasson.
Moi aussi j'ai mis en place l'url rewriting ce mois ci.

Je pense qu'avec de la patience, ca passera... espérons

Bonne chance pour votre crawl a tous
Sepang

 

salut,

comme le mois dernier il n'est pas du tout passé sur mon site :-(((((

j'ai encore une chance ou le fullcrawl est deja fini ?
merci

a+nico

 

C'est juste qu'on est inquiets :wink:
Un mois de boulot pour reecrire un site, et on arrive à l'heure de vérité, donc on est impatients

 

j'avoue Dan tes conseils sont bien
En ce qui me concerne, je suis juste impatient de voir si l'url rewriting mit en place grace a tes conseils (merci!!) a marché!

Mais c'est vrai que c'est long et qu'on a le temps
A+!!

 

Disons que pour mon cas, il n'est meme pas venu voir une seule page!

par contre en Deep crawl, il vient regulierement maj mon index.

a+nico

 

OUAISSSSSSSSSSSSSS le deep crawl vient de trouver la PERMIERE page en URL rewriting : /forum/viewforum_9.html. Content je suis Bon c'est qu'une page sur 10000 mais c'est un début hien !!!! J'espère maintenant qu'il descendra dans en suivant tous les liens (il a du boulot là)

 

On peut faire un concours si tu veux, je me défends pas mal En tout cas ce serait avec plaisir (enfin seulement si google index mon site en entier hein :wink: )

 

Mince je vais de me rendre compte d'un grosse bourde. Lorsque j'ai mis en place l'url rewriting sur bedetheque.com j'ai "oublié" de fermer quasiment TOUTES mes balsises <A HREF ...> (il manque le </A>). :cry:

Non mais quel C..... !!!!!! :evil:

Je viens de corriger, mais ca va etre trop tard pour ce full crawl je pense :evil: :evil: :evil: Et moi qiui comprenais pas pourquoi il ne suivait pas mes liens, bouhhhhhhhhhhhhhhhhhh :cry:

 

Ca y est une page indexée a 11h21!! je sais pas laquelle par contre (j'ai le module "les visiteurs")

a+nico

 

Pour les visiteurs, si tu connais un peu PHP, tu peux le modifier un peu pour voir la page ou il est, moi personnellement ca m'a pris 10 minutes à faire (il est tellement bien programmé a la base)

Si tu butes, écris moi un mail je te filerais la partie du code mais c basique: tu rajoute une colonne "currentpage" a la fin de ta table, tu updates le fichier ou y'a le insert into pour qu'il rajoute le request_uri, et tu modifie la page d'affichage et le tour est joué

A+!
sepang

 

bonjour hetzeld,
je suis Zen, t'inquietes pas
Ce qui me surprenait plus c'etait le fait qu'il est bien visité les bons liens lors du Fresh bot et la il prend a nouveau les anciens. J'essaye de voir un peu comment il focntionne l'animal :roll:
Mais sinon, c'est pas bien grave, il s'agit bien des meme pages

 

1er passage à 01:40:23 cette nuit sur la page d'accueil
Retour à 07:35:24 pour bosser un peu (35 passages à 11:40)...

 

salut Dan,

salut , sepang
si ca ne te dérange pas tu pourrais me donner les modifs à faire ? par email par exemple !

merci d'avance

PS:Googlebot vient de passer sur 5 pages...il suffisait de demander

a+nico

 

salut WRI,

disons que Google se lève tard pour passer sur ma page ;-) j'étais donc inquiet, à juste titre je pense.

a+nico

 

Vous ne trouvez pas qu'il a mis beaucoup de temps entre la Dance et le Full Crawl ce mois-ci ?

en tout cas chez moi, il a mis du temps à venir, mais il s'y plait bien 8) et il trouve aussi bien les anciennes que les nouvelles pages :lol:

 

C'est marrant chez moi il passe exactement une page par minute pil poil depuis 1 demi heure. Si il doit indexer comme ça les 70000 msgs du forum, il est pas rendu

 

65 visites du fullcrawl et 1 visite du fresh crawl :lol: :lol:

 

Whouou ! Le full crawl est enfin repassé chez moi (pas de traces le mois dernier...). Surtout que mon site était mal parti : frames, javascript, sessions etc... Alors que maintenant : frames (c'est ok !), sessions spéciales détectées automatiquement si le cookie envoyé à l'utilisateur est bien présent sur la page suivant... Et en cas de problème, un peu "noindex" si l'identifiant n'est pas bon, pour remettre les moteurs de recherche tout fous (Inktomi pour pas le citer) dans le droit chemin (il comptait référencé tous mes identifiants, autrement dit 36^6 possibilités...).
Et le voilà qui passe le Google ce matin : une page à 2h du mat, 2 à 8h, 2 à 9h et une dernière à 10h. Que du bonheur, y'a pas à dire.

Merci WRI pour ton info sur l'utilisation des cookies pour éviter l'identifiant de session ! Je crois que tu m'as sauvé la vie sur ce coup-là

Et vive le Full Crawl !

Yvan.

 

YYYEEEEEEAAAAAA ca y est le deep stress des webmasters a commencé ! vive la full panic !

 

un de ces jours, google sera programmé de telle sorte pour ignorer tous les viewforum_.htm et autres viewtopic_.htm :twisted:

 

Pourquoi tu dis ça ??? Tu trouves que ce n'est pas interessant que google indexe les forums ? C'est pourtant là qu'on trouve le plus d'infos ??

je comprends pas bien là 8O

 

C'est bien vrai cela, je cherchais un driver pour un appareil photo numérique taiwanais sorti il y a 5 ans. La boite avait fait faillite, modèle vendu à 300 exemplaires au moins, et bien c'est sur un forum que j'ai trouvé le lien !

Vive les forums !

 

il est passé chez moi aussi: 216.239.46.87

 

Les visiteurs

Alors, pour les visiteurs et pour tous ceux que ca intéresse:

voici la nouvelle structure de la table:

*+-------------+--------------+------+-----+---------+----------------+
| Field | Type | Null | Key | Default | Extra |
+-------------+--------------+------+-----+---------+----------------+
| AGENT | varchar(100) | YES | | NULL | |
| REFERER | varchar(200) | YES | | NULL | |
| ADDR | varchar(50) | | MUL | | |
| DATE | varchar(20) | YES | | NULL | |
| HOST | varchar(100) | YES | | NULL | |
| CODE | int(11) | | PRI | NULL | auto_increment |
| REF_HOST | varchar(100) | YES | | NULL | |
| CURRENTPAGE | varchar(255) | | | | |
+-------------+--------------+------+-----+---------+----------------+

(en gros on rajoute currentpage, varchar de 255)

Dans new_visitor.inc.php (vous l'avez sans doute renommé)
vous avez

Code:

            $values_list  = "'" . date('Y/m/d H:i')                 . "',"; // DATE
            $values_list .= "'" . $REMOTE_ADDR                      . "',"; // ADDR
            $values_list .= "'" . gethostbyaddr( $REMOTE_ADDR )     . "',"; // HOST
            $values_list .= "'" . $agent                            . "',"; // AGENT
            $values_list .= "'" . AddSlashes(strip_tags($referer))  . "',"; // REFERER
            $values_list .= "'" . AddSlashes(strip_tags($ref_host)) ;  // REF_HOST

et bien maintenant vous avez:

Code:

            $values_list  = "'" . date('Y/m/d H:i')                 . "',"; // DATE
            $values_list .= "'" . $REMOTE_ADDR                      . "',"; // ADDR
            $values_list .= "'" . gethostbyaddr( $REMOTE_ADDR )     . "',"; // HOST
            $values_list .= "'" . $agent                            . "',"; // AGENT
            $values_list .= "'" . AddSlashes(strip_tags($referer))  . "',"; // REFERER
            $values_list .= "'" . AddSlashes(strip_tags($ref_host)) . "',";  // REF_HOST
			$values_list .= "'http://".$_SERVER["SERVER_NAME"].$_SERVER["REQUEST_URI"]."'"; // CURENT PAGE

et enfin, dans le script last_visitors.php du répertoires modules, cherchez ca

Code:

            $row[$cnt]['agent']    = $record['AGENT'];
            $row[$cnt]['addr']     = $record['ADDR'];
            $row[$cnt]['host']     = $record['HOST'];
            $row[$cnt]['date']     = $record['DATE'];
            $row[$cnt]['referer']  = $record['REFERER'];
            $row[$cnt]['ref_host'] = $record['REF_HOST'];

et rajoutez cette ligne

Code:

$row[$cnt]['currentpage'] = $record['CURRENTPAGE'];

et la pour l'afficher vous faites comme vous voulez mais moi j'ai fait ca (en commentaire la disposition par défaut)

Code:

            //$buffer .= "<TD CLASS='vis'>&[<A HREF='http://".extract_server($row[$cnt]['host'])."/' CLASS='server' TARGET='_blank'>Srv</A>]&";
			$buffer .= "<TD CLASS='vis'>&[<A HREF=\"".$row[$cnt]['currentpage']."\" CLASS='server' target='_blank'>Page</A>]&";

En gros je vire l'info "serveur" parce que personnellement j'en ai rien a faire et je pense pas etre le seul a trouvé cette fonctionnalité ridicule (mais ca reste un des meilleurs programme que je connaisse héhé)

"Hope this helps" comme disent les anglophones
Sepang

 

Googlebot devient fou ???!!!

Vendredi 7 Février 2003

Visites : 2362
Pages: 1702
Visites / jour : 2362.0
Adresses IP :
216.239.46.100
216.239.46.101
216.239.46.102
216.239.46.104
...

Je vais pas m'en pleindre, mais mon hebergeur... :roll:

 

non, mon hebergeur ne l'accepte pas :/

Googlebot ne s'arrete plus :lol:

Visites : 2636
Pages: 1898
Visites / jour : 2636.0

 

Je croyais que googlebot n'était pas un bot 'bourrin', un peu quand même :twisted: :

Vendredi 07 Février 2003

Visites : 3474
Pages: 2459
Visites / jour : 3474.0
Adresses IP :
216.239.46.100
216.239.46.101
216.239.46.102
216.239.46.104
216.239.46.105
...

 

Je suis déjà impatient de voir le résultat :lol:

 

Salut à tous,

je suis nouveau mais ça fait un moment que je scrute toutes les infos qui transitent sur ce site vraiment top au niveau de l'info.
Je pense avoir suivi toutes les consignes pour un bon référencement .

Google fait fait un carton sur mes pages depuis trois jours, il les prends toutes :lol:

Je voudrais juste avoir l'avis d'un expert concernant mon site et les chances d'obtenir un bon classement, c'est une boutique en ligne réalisée avec Oscommerce, si qqun connaît.

Voilà, si vous voulez bien jeter un coup d'oeil ça serait super
Merci à vous
jeanmarie, newbie

http://www.e-novstore.com

 

Bon ben ça y est google est lancé à pleine vitesse sur un de mes sites (bedetheque). Il a fait 85 pages hier et il en est à 987 pages aujourd'hui .L'url rewrinting, les url en absolu pour eviter les id de sessions, les balise noframe etc... ont donc portée leur fruits pour info, il fait des pointes à 20 pages par minutes quand même Je pensais pas qu'il passait si vite. d'un autre coté, il a près de 13000 pages differentes à voir, faut donc pas qu'il traine trop

Par contre, pour mon forum phpBB sur l'autre site, il a un peu du mal. en fait il y a trop de liens sur les pages dans un forum phpBB et donc ca lui donne carrement trop de boulot. Je me demande si je ne vais pas reecrire en partie le code pour qu'il mette les liens en javascript pour cetains d'entre et eviter ainsi que google les suive. par exemple, tous les liens sur les profils, repondre, citer, etc... ne servent à rien, et egare plutot google qu'autre chose.

Bon ben vivement la prochaine GD maintenant
Content je suis
Merci encore à tous pour votre aide et vos conseils. j'ai appris beaucoup depuis un mois et j'espere pouvoir a mon tour aider quelques debutants comme moi

 

2200 pages à 18h00 plus que 10000 et il aura tout vu

 

Voilà un petit point sur le passage de google depuis samedi :
Samedi :
Visites : 3270
Pages: 3261

Dimanche :
Visites : 1239
Pages: 1236

Aujourd'hui : à 10h15
Visites : 2571
Pages: 2560

Bref, il s'en donne à coeur joie. Et visiblement il passe bien partout. D'autres ont des passages aussi massif de google ? Je me demande également comment fais google à chaque full crawl ? Dans un mois, il revisitera TOUTES ces pages ? Comment fait-il pour les trés gros sites qui ont plusieurs dizaines de milliers de pages différentes ? Le full crawl dure plus longtemps chez eux dans ces cas là ? Il visite TOUT à chaque fois ?

 

Google a explosé mon site hier !!! 454 000 hits !!

 

T'as interet à avoir un sacré hebergement avec un tel passage :cry:

 

A ton avis, quel va être l'impact sur mon PR ? J'ai actuellement un PR5 et 18 !!! pages dans google pour ce site. Je vais passer à 10000 pages (chacune ayant un lien vers la page d'accueil). Ca va changer beaucoup ?

 

J'ai fait plus de 2x le nombre de hits max autorisé !

Je ne pense pas que cela va influencer le PR de ta home page. En tout cas moi cela a rien changé (6000 puis 20000 puis 31 000 pages).