Google et requêtes automatiques...

WRInaute passionné
Je mets ça ici, je ne sais pas si c'est la place la plus appropriée, m'enfin brèfle comme qui dirait.

Supposons que j'ai 1000 requêtes automatiques à envoyer chez Dieu qui n'apprécie pas trop ça.
A votre avis, est-ce que de balancer cela sur un même DC ou sur un vingtaines de DC différents a le même impact?
 
WRInaute passionné
Ouai mais je ne sais pas coder ça :lol:

Et pis j'aimerais intégrer ça dan sun programme mais en faisant un truc propre en fait...
 
WRInaute discret
Personnellement, je fais régulièrement plusieurs milliers de requêtes sur un même DC sans n'avoir jamais eu de blocage ou autre.

Ensuite, il y a surement un seuil à partir duquel il va bloquer temporairement ton IP, mais lequel ?
 
WRInaute passionné
Et si on met ça dan sun programme (avec nombre limité de requètes), programme distribué... ils font la gueule je suppose?
 
WRInaute passionné
Photoshop user a dit:
Pour info: les limitations sont assez légères si tu ne crawles que les premières pages.

Tu as des précisions?
J'envisage de ne crawler que la première page (donc en répartissant sur une vingtaine de DC, cela fait à tout casser, pour les plus gros bourrins, du 50 requètes/jour maxi)
 
WRInaute impliqué
je ne sais rien de la réparition entre les DC, mais je sais que j'ai utilisé tres régulièrement Agent Web Ranking, je surveillai un paquet de position et ca faisait plus que 50 requêtes.

Par contre, si je vérifiai sur 15 page mon ip était bannie assez rapidement.
 
WRInaute passionné
Bon, vu que ce n'est pas pour étudier le positionnement (je garde cette fonctionnalité pour moi, tant pis :lol:), je réparti la charge de la manière suivante : choix entre google, yahoo et live (pour ces deux derniers, ils auront l'impression d'avoir du monde :evil:) puis choix aléatoire d'un data center.

Je n'ai plus qu'à trouver une liste d'ip des data centers de live (c'est pas aussi simple que google voir même que yahoo :lol:)
 
Discussions similaires
Haut