Identification des robots

Discussion dans 'Crawl et indexation Google, sitemaps' créé par regisd, 13 Mars 2003.

  1. regisd
    regisd Nouveau WRInaute
    Inscrit:
    24 Janvier 2003
    Messages:
    36
    J'aime reçus:
    0
    Bonjour,

    :?: D'après vous quelle est la meilleur façon d'identifier les robots...
    Entre adresse ip, nom de domaine, infos du browser... j'aimerai avoir votre avis pour savoir quelle méthodes vous utilisez !
    Merci

    regis
     
  2. Kmacleod
    Kmacleod WRInaute passionné
    Inscrit:
    28 Novembre 2002
    Messages:
    2 468
    J'aime reçus:
    0
    Identifier un robot : tout est question de stabilité
    Si c'est l'IP qui est choisie et que cette IP est souvent differente (google ou pompos), mieux vaut prendre le nom d'agent.

    Mais que celà soit pour cela ou autre chose, il faut prendre quelque chose qui est stable et unique; ce qui est difficile par exemple pour les aspirateurs (enfin c'est ma méthode)
     
  3. regisd
    regisd Nouveau WRInaute
    Inscrit:
    24 Janvier 2003
    Messages:
    36
    J'aime reçus:
    0
    Justement le problème est là... quelquechose de stable et unique. Et sachant qu'une adresse ip potentiellement bouge, que le nom du serveur peut aussi changer... heu... ça relève de la bidouille de la mort pour identifier nos petits robots ! :)
     
  4. kendos
    kendos WRInaute impliqué
    Inscrit:
    25 Janvier 2003
    Messages:
    560
    J'aime reçus:
    0
    Kmacleod
    Peux-tu approfondir "pompos" ?
     
  5. Kmacleod
    Kmacleod WRInaute passionné
    Inscrit:
    28 Novembre 2002
    Messages:
    2 468
    J'aime reçus:
    0
  6. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 079
    J'aime reçus:
    333
    pompos est le nom du robot de dir.com (futur moteur de free ?). Voir le forum Autres moteurs
     
  7. mahefarivony
    mahefarivony WRInaute accro
    Inscrit:
    14 Octobre 2002
    Messages:
    8 175
    J'aime reçus:
    0
    pompos c'est des sauvages dans leur maniere d'aspirer les sites ! et souvent blacklisté par les hebérgeurs (voir sivit.fr par exemple)...

    c'est bien de tenter de vouloir rattraper google mais la méthode est pas vraiment au point :twisted:
     
Chargement...
Similar Threads - Identification robots Forum Date
Google tools et identification des visiteurs uniques Débuter en référencement 15 Août 2015
Autoriser une seule url à outrepasser une identification .htpassd URL Rewriting et .htaccess 25 Juillet 2014
Problème identification sources de conversion e-commerce et CA - Analytics Google Analytics 17 Octobre 2013
Identification des conversions issues du référencement naturel et des campagnes Adwords AdWords 12 Octobre 2012
Script d'identification Développement d'un site Web ou d'une appli mobile 16 Juin 2011
Identification d'un referer : Bluecoat Administration d'un site Web 10 Septembre 2010
Identification et Commentaires en php Développement d'un site Web ou d'une appli mobile 8 Mars 2009
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps Jeudi à 14:45
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice