Robot google devin ???

[freetopien]

Bonsoir,

je post pour vous faire part d'une anecdocte qui m'a interpelé à l'instant.

Pour la première fois, je viens d'installer un forum phpbb sur un de mes serveur perso histoire de tester.
1 utilisateur enregistré, moi (normal) et seulement au bout de 2 minutes je commence à apercevoir 1 invité, puis 2, puis 4, puis 9 8O

Dans l'admin du forum j'aperçois que l'on peut en savoir plus sur ses visiteurs en les pingant par exemple, ce que je m'empresse de faire sur ces mystérieux invités, et que vois je???

>>> crawl-66-249-66-78.googlebot.com <<<


Comment cela est possible qu'un robot d'indexation google parcourt ce forum créé il y a 3 min dont il n'existe aucun backlink null part ??????


Merci de m'aider à comprendre !!! (qq chose a dû méchapper!)

 

[bac+5]

Tu devrais commencer par regarder sous ton bureau, voir si un employé de chez Google n'y est pas planqué...

Non, sérieux, ce n'est pas un troll ton post?

 

[keroin]

Tu n'aurais pas la GG barre par hasard ?

 

[freetopien]

Si si, j'ai la google toolbar, pourquoi??

 

[keroin]

Bah c'est certainement la raison car apparement GG récupère des données transmises par le GG barre donc c'est peut-être comme ça que le bot a trouvé ton forum

 

[freetopien]

du coup il sera indexé automatiquement ???

 

[keroin]

oula oula je n'ai rien dit de tel ^^
Seulement tu devrais plutôt le développer en local plutôt qu'en ligne si tu veux le mettre en production car tu risque une indexation avec un forum pas fini ce qui peut retarder l'indexation correcte d'un forum mieux élaboré...
Enfin là on s'enfonce beaucoup dans les suppositions.
Pour résumer, il n'est pas trop conseillé de "donner à manger" au bots un produit à peine commencé

 

[freetopien]

C'est lui qui mange dans ma main

 

[bac+5]

Autre supposition : tu n'as pas créé un sous domaine pour l'occasion.

De toute façon, protège l'accès avec un htaccess, comme ça tu es tranquille.

 

[freetopien]

Autre supposition : tu n'as pas créé un sous domaine pour l'occasion.

De toute façon, protège l'accès avec un htaccess, comme ça tu es tranquille.

Heu, mon site est acessible par membre.truc.fr/monsite (habituel) et par monsite.truc.fr

 

[Leonick]

tu as des adsenses sur ton site ?

 

[bac+5]

tu as des adsenses sur ton site ?

Bien vue! Ce doit être Mediapartners-Google/2.1. Le bot ne passerait pas aussi vite, alors que lui il est là au bout de quelques minutes parfois.

 

[freetopien]

heu... ya les adsences de lycos oui !

ah oué ça serait pas un robot dindexation mais un robot adsence permettant dafficher des pub en rapport avec le contenu c'est ça ?

 

[keroin]

Bah ça il n'y a que la consultation de tes logs qui va te donner son identité...

 

[bac+5]

Moi j'ai un petit bout de code sur mes pages quand je veux en savoir plus :

if (eregi ("google", $HTTP_USER_AGENT))
{
mysql_db_query($base,"INSERT INTO matable set bot='$HTTP_USER_AGENT', page='$REQUEST_URI', date=NOW()",$link);
}

Avec la table MySQL correspondante, ça permet de voir quel robot Google est passé, sur quelle page et quand. Basique mais suffisant dans certains cas comme le tien.

 

[Audiofeeline]

heu... ya les adsences de lycos oui !

Pour info, si tu mets des pub AdSense chez lycos, il faut savoir qu'elles seront remplacées par les Adsense Lycos...
En gros ça ne sert a rien de mettre de la pub chez eux... :?

 

[tofm2]

Moi j'ai un petit bout de code sur mes pages quand je veux en savoir plus :

if (eregi ("google", $HTTP_USER_AGENT))
{
mysql_db_query($base,"INSERT INTO matable set bot='$HTTP_USER_AGENT', page='$REQUEST_URI', date=NOW()",$link);
}

Avec la table MySQL correspondante, ça permet de voir quel robot Google est passé, sur quelle page et quand. Basique mais suffisant dans certains cas comme le tien.

bonne suggestion, moi j'ai installé crawltrack, un petit utilitaire bien pratique qui permet de faire les différences entre la visite des différents bots et les visiteurs que l'on peut à peu près considérer comme humains.

bien pratique et bien conçu. à utiliser en complémentarité d'un logiciel de stats tel phpmyvisites par ex (ou xiti, ou googlestats ou autres)
http://www.crawltrack.fr

 

[keroin]

+1 pour crawltrack, il est très pratique ce script :wink:

 

[freetopien]

heu... ya les adsences de lycos oui !

Pour info, si tu mets des pub AdSense chez lycos, il faut savoir qu'elles seront remplacées par les Adsense Lycos...
En gros ça ne sert a rien de mettre de la pub chez eux... :?

J'ai dit qu'il y avait ceux de lycos, pas les miennes