Des googlebots inconnus ?

[terry]

Salut,
J'ai placé une page piège sur mon site dans le but de récolter les adresses IP des robots malveillants. Cette page piège est en nofollow. La plupart des bons robots respecte le nofollow (googlebot, yahoo, msn), sauf quelques uns :
Les adresses IP de ces bots (IP hote inconnus) sont : 66.249.85.130, 66.249.84.12, 72.14.195.49, 72.14.193.133, etc...
et utilisent l'user-agent : Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)

D'après la base de données domaintools.com, ces IP appartiennent à google.
Mais d'habitude, leur IP hote est crawl.xxxx.googlebot ou Mediapartners-Google.

Que font ces bots inconnus de google sur nos sites à votre avis ?

 

[Leonick]

ils vérifient sur tu n'es pas passé du côté obscur :lol:

 

[nickargall]

+1
Ils vérifient qu'il n'y a pas de cloaking basé sur la reconnaissance de l'IP sur les sites.

 

[terry]

Ok, mais ce n'est pas une raison pour ignorer le nofollow.
Parce que le simple fait de se rendre sur la page piège vous fait bannir automatiquement du site.

 

[k2pi]

Dans ce cas le robot simule une activite "humaine", donc pourquoi n'aurai-t-il pas le droit de suivre ton lien ?
Un visiteur lambda peut cliquer dessus je suppose ?

 

[carole heinz]

le simple fait de se rendre sur la page piège vous fait bannir automatiquement du site.

mauvaise idée, du coup, non?

 

[terry]

Dans ce cas le robot simule une activite "humaine", donc pourquoi n'aurai-t-il pas le droit de suivre ton lien ?
Un visiteur lambda peut cliquer dessus je suppose ?

C'est un lien invisible.
C'est la seule méthode infaillible que j'ai trouvé pour lutter contre les aspirateurs. Cela fait bannir les utilisateurs d'aspirateurs dès la 2e page.

 

[HawkEye]

Ok, mais ce n'est pas une raison pour ignorer le nofollow.

rel="nofollow" ne signifie pas "la cible de ce lien est interdite de lecture aux robots"

 

[terry]

Ce qui est sûr c'est que google avec un IP hote comme : crawl.xxxx.googlebot ou Mediapartners-Google
n'a jamais visité la page piège (invisible pour un humain).

 

[HawkEye]

Cette page est-elle interdite par ton fichier robots.txt ?

 

[Leonick]

le simple fait de se rendre sur la page piège vous fait bannir automatiquement du site.

mauvaise idée, du coup, non?

tout à fait.
Si je veux désindexer ton site de google, il me suffira de faire de l'ip, avec les ip des bots de google, sur cette page là et hop, tu interdiras toi-même l'accès à google :evil: :lol:

 

[terry]

Cette page est-elle interdite par ton fichier robots.txt ?

Non, parce que certains aspirateurs respectent le fichier robots.txt (Httrack par exemple).
Je ne pourrais pas bannir les utilisateurs de ces aspirateurs dans ce cas.

Le nofollow : jamais, donc c'est ma seule parade contre les aspirateurs professionels payants de plus en plus performants (ils parcourent les pages web comme un humain qui parcourt un forum).

 

[UsagiYojimbo]

Non, parce que certains aspirateurs respectent le fichier robots.txt (Httrack par exemple)

Tout dépend de la manière dont tu le paramètre. Avec Httrack tu peux aussi ignorer le robots.txt...