Adresse IP des moteurs de recherche

Discussion dans 'Autres moteurs de recherche connus' créé par John Smith, 29 Octobre 2008.

  1. John Smith
    John Smith WRInaute impliqué
    Inscrit:
    4 Avril 2007
    Messages:
    603
    J'aime reçus:
    2
    Bonjour,

    Je pense que la question a surement dûe être posée mais bon. Je cherche des sites où je pourrais trouver les adresses IP des moteurs de recherche, de préférence tous les moteurs de recherche.

    Merci.

    PS : les liens que j'ai glané de-ci delà sont morts...
     
  2. keroin
    keroin WRInaute passionné
    Inscrit:
    29 Avril 2006
    Messages:
    1 998
    J'aime reçus:
    0
    Regarde chez Crawltrack, la BDD d'ip de moteurs est bien fournie (fournie avec le script)
    => http://www.crawltrack.net/fr/
    Ici aussi -http://www.robots.darkseoteam.com/
     
  3. jidébé
    jidébé WRInaute discret
    Inscrit:
    26 Juillet 2005
    Messages:
    160
    J'aime reçus:
    0
    Bonsoir,

    Je vais corrigé l'info de Keroin (je suis l'auteur de CrawlTrack), la base de donnée de CrawlTrack est constituée des user-agent des robots et non pas de leur IP.

    Par contre les IP étant enregistrée, tu as un belle liste en allant sur la démo en ligne sur mon site (attention, certaines peuvent être celle d'internautes se faisant passer pour un robot, il faut garder un oeil critique).

    Tu as là par exemple l'ensemble des IP utilisées par les robots qui ont crawlé mon site ce mois-ci, il y a déjà de quoi faire:

    http://www.crawltrack.net/robot/index.p ... graphpos=0

    A+

    Jean-Denis
     
  4. John Smith
    John Smith WRInaute impliqué
    Inscrit:
    4 Avril 2007
    Messages:
    603
    J'aime reçus:
    2
    Merci à vous !
     
  5. bertimus
    bertimus WRInaute passionné
    Inscrit:
    24 Août 2005
    Messages:
    2 068
    J'aime reçus:
    0
  6. keroin
    keroin WRInaute passionné
    Inscrit:
    29 Avril 2006
    Messages:
    1 998
    J'aime reçus:
    0
    Merci pour la correction jidébé ;)
     
  7. John Smith
    John Smith WRInaute impliqué
    Inscrit:
    4 Avril 2007
    Messages:
    603
    J'aime reçus:
    2
    Merci pour ces infos mais dans le cas où il y a écrit par exemple :

    209.185.108

    Ca veut dire toutes les IP de 209.185.108.0 à 209.185.108.255 ?
     
  8. bertimus
    bertimus WRInaute passionné
    Inscrit:
    24 Août 2005
    Messages:
    2 068
    J'aime reçus:
    0
  9. John Smith
    John Smith WRInaute impliqué
    Inscrit:
    4 Avril 2007
    Messages:
    603
    J'aime reçus:
    2
    Bizarre, j'ai l'impression que c'est plutôt juste : 209.185.108.0, qu'est-ce que vous en pensez ! J'ai un gros doute là !
     
  10. bertimus
    bertimus WRInaute passionné
    Inscrit:
    24 Août 2005
    Messages:
    2 068
    J'aime reçus:
    0
  11. John Smith
    John Smith WRInaute impliqué
    Inscrit:
    4 Avril 2007
    Messages:
    603
    J'aime reçus:
    2
    Comme quoi, on peut être à des milliers de kilomètres et se poser les mêmes questions ! :wink:

    Bon comme ton homologue anglo-saxon répond comme toi, je vais considérer que ça va donc de 0 à 255.

    Merci.
     
  12. John Smith
    John Smith WRInaute impliqué
    Inscrit:
    4 Avril 2007
    Messages:
    603
    J'aime reçus:
    2
    Petite question subsidière pour vous départager.

    Admettons que je rentre toutes ces milliers d'IP dans une base de donnée et que je m'en serve pour afficher sur mon site le nombre de visiteurs réels le jour en cours en filtrant les ip des robots. Pensez-vous que l'algo qui consiste à dire en gros :

    - J'ai une nouvelle connexion
    - Je regarde si l'IP fait partie de la liste des robots
    - Si non j'incrémente un compteur
    - Si oui je fais rien

    Donc pensez-vous que cet algo peut ralentir considérablement le site à cause de la quantité de requête sur la BD dûes au nombre considérable d'IP robot ?

    Merci de me répondre.
     
  13. e-kiwi
    e-kiwi WRInaute accro
    Inscrit:
    23 Décembre 2003
    Messages:
    14 278
    J'aime reçus:
    1
    ça sent le cloaking tout ça qd même :p
     
  14. bertimus
    bertimus WRInaute passionné
    Inscrit:
    24 Août 2005
    Messages:
    2 068
    J'aime reçus:
    0
    Non non, c'est une très bonne couverture le coup du compteur :mrgreen:

    Si tu veux vraiment faire ça pour un compteur, reconnais plutôt les bots à leur user-agent, ça demandera je suppose beaucoup moins de ressources.
     
  15. John Smith
    John Smith WRInaute impliqué
    Inscrit:
    4 Avril 2007
    Messages:
    603
    J'aime reçus:
    2
    Sérieusement non.

    Mais c'est vrai que plutôt que de me palucher des milliers de saisie d'IP, je vais plutôt filtrer au niveau du user-agent. Et filtrer que certaine IP comme la mienne et celle de mon taf pour pas trop pertruber mon comptage.

    Comment je fais pour le user_agent ? Où je peux trouver la liste des user-agent des robots ? Merci.
     
  16. John Smith
    John Smith WRInaute impliqué
    Inscrit:
    4 Avril 2007
    Messages:
    603
    J'aime reçus:
    2
    Bon à bien y réfléchir, c'est beaucoup moins simple que je ne le pensais...

    Il y a tellement de User-Agent pour chaque robot que je me demande bien comment font les compteurs tel que celui de OVH (AWSTATS) pour repérer les robots même ceux qui sont incoonus !

    Pouvez-vous m'aider, à la limite je n'ai pas besoin de repérer le type de robot mais simplement si c'est un robot que j'exclue de mon comptage.

    Donc ma question est : comment repérer "un" robot quelqu'il soit ?

    Merci de m'aider.
     
Chargement...
Similar Threads - Adresse moteurs recherche Forum Date
Référencement local avec plusieurs adresses Débuter en référencement 8 Juillet 2018
Adresse IP, noms de domaine et profil de backlinks Netlinking, backlinks, liens et redirections 22 Mai 2018
R301 et changement d'adresse google search console Netlinking, backlinks, liens et redirections 21 Mai 2018
Collecte adresses IP annuaire Arfooo Annuaires et moteurs 8 Mai 2018
Comment inscrire mon entreprise sur Bing adresses ? Référencement Bing 26 Juillet 2017
adresse personnelle sur infogreffe.fr Droit du web (juridique, fiscalité...) 16 Juin 2017
Adresse my business dans deux pays Google+ 15 Mai 2017
Changement d'adresse et redirection 301 ou pas ? Crawl et indexation Google, sitemaps 10 Mai 2017
Que risque-t-on à mettre son adresse email en clair sur une page ? Développement d'un site Web ou d'une appli mobile 3 Mai 2017
Adresse canonique et version AMP Référencement Google 15 Avril 2017
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice