Adresse IP des moteurs de recherche

[John Smith]

Bonjour,

Je pense que la question a surement dûe être posée mais bon. Je cherche des sites où je pourrais trouver les adresses IP des moteurs de recherche, de préférence tous les moteurs de recherche.

Merci.

PS : les liens que j'ai glané de-ci delà sont morts...

 

[keroin]

Regarde chez Crawltrack, la BDD d'ip de moteurs est bien fournie (fournie avec le script)
=> http://www.crawltrack.net/fr/
Ici aussi -http://www.robots.darkseoteam.com/

 

[jidébé]

Bonsoir,

Je vais corrigé l'info de Keroin (je suis l'auteur de CrawlTrack), la base de donnée de CrawlTrack est constituée des user-agent des robots et non pas de leur IP.

Par contre les IP étant enregistrée, tu as un belle liste en allant sur la démo en ligne sur mon site (attention, certaines peuvent être celle d'internautes se faisant passer pour un robot, il faut garder un oeil critique).

Tu as là par exemple l'ensemble des IP utilisées par les robots qui ont crawlé mon site ce mois-ci, il y a déjà de quoi faire:

http://www.crawltrack.net/robot/index.p ... graphpos=0

A+

Jean-Denis

 

[John Smith]

Merci à vous !

 

[bertimus]

http://iplists.com/ sinon

 

[keroin]

Merci pour la correction jidébé

 

[John Smith]

http://iplists.com/ sinon

Merci pour ces infos mais dans le cas où il y a écrit par exemple :

209.185.108

Ca veut dire toutes les IP de 209.185.108.0 à 209.185.108.255 ?

 

[bertimus]

Oui.

 

[John Smith]

Bizarre, j'ai l'impression que c'est plutôt juste : 209.185.108.0, qu'est-ce que vous en pensez ! J'ai un gros doute là !

 

[bertimus]

Tiens marrant j'ai retrouvé ta même question en anglais : http://forums.digitalpoint.com/showthread.php?t=88268

La réponse : Plutôt que de réserver une seule IP à chaque fois, Google a sûrement réservé plusieurs classes d'IP.

 

[John Smith]

Comme quoi, on peut être à des milliers de kilomètres et se poser les mêmes questions ! :wink:

Bon comme ton homologue anglo-saxon répond comme toi, je vais considérer que ça va donc de 0 à 255.

Merci.

 

[John Smith]

Petite question subsidière pour vous départager.

Admettons que je rentre toutes ces milliers d'IP dans une base de donnée et que je m'en serve pour afficher sur mon site le nombre de visiteurs réels le jour en cours en filtrant les ip des robots. Pensez-vous que l'algo qui consiste à dire en gros :

- J'ai une nouvelle connexion
- Je regarde si l'IP fait partie de la liste des robots
- Si non j'incrémente un compteur
- Si oui je fais rien

Donc pensez-vous que cet algo peut ralentir considérablement le site à cause de la quantité de requête sur la BD dûes au nombre considérable d'IP robot ?

Merci de me répondre.

 

[e-kiwi]

ça sent le cloaking tout ça qd même

 

[bertimus]

Non non, c'est une très bonne couverture le coup du compteur :mrgreen:

Si tu veux vraiment faire ça pour un compteur, reconnais plutôt les bots à leur user-agent, ça demandera je suppose beaucoup moins de ressources.

 

[John Smith]

ça sent le cloaking tout ça qd même

Sérieusement non.

Mais c'est vrai que plutôt que de me palucher des milliers de saisie d'IP, je vais plutôt filtrer au niveau du user-agent. Et filtrer que certaine IP comme la mienne et celle de mon taf pour pas trop pertruber mon comptage.

Comment je fais pour le user_agent ? Où je peux trouver la liste des user-agent des robots ? Merci.

 

[John Smith]

Bon à bien y réfléchir, c'est beaucoup moins simple que je ne le pensais...

Il y a tellement de User-Agent pour chaque robot que je me demande bien comment font les compteurs tel que celui de OVH (AWSTATS) pour repérer les robots même ceux qui sont incoonus !

Pouvez-vous m'aider, à la limite je n'ai pas besoin de repérer le type de robot mais simplement si c'est un robot que j'exclue de mon comptage.

Donc ma question est : comment repérer "un" robot quelqu'il soit ?

Merci de m'aider.