Google et requêtes automatiques...

[xTrade]

Je mets ça ici, je ne sais pas si c'est la place la plus appropriée, m'enfin brèfle comme qui dirait.

Supposons que j'ai 1000 requêtes automatiques à envoyer chez Dieu qui n'apprécie pas trop ça.
A votre avis, est-ce que de balancer cela sur un même DC ou sur un vingtaines de DC différents a le même impact?

[phloam]

Le mieux c'est d'utiliser des proxies comme ca t'es tranquille.

[xTrade]

Ouai mais je ne sais pas coder ça

Et pis j'aimerais intégrer ça dan sun programme mais en faisant un truc propre en fait...

[audit.referencement]

Personnellement, je fais régulièrement plusieurs milliers de requêtes sur un même DC sans n'avoir jamais eu de blocage ou autre.

Ensuite, il y a surement un seuil à partir duquel il va bloquer temporairement ton IP, mais lequel ?

[xTrade]

Et si on met ça dan sun programme (avec nombre limité de requètes), programme distribué... ils font la gueule je suppose?

[Photoshop user]

Pour info: les limitations sont assez légères si tu ne crawles que les premières pages.

[xTrade]

Pour info: les limitations sont assez légères si tu ne crawles que les premières pages.

Tu as des précisions?
J'envisage de ne crawler que la première page (donc en répartissant sur une vingtaine de DC, cela fait à tout casser, pour les plus gros bourrins, du 50 requètes/jour maxi)

[Photoshop user]

je ne sais rien de la réparition entre les DC, mais je sais que j'ai utilisé tres régulièrement Agent Web Ranking, je surveillai un paquet de position et ca faisait plus que 50 requêtes.

Par contre, si je vérifiai sur 15 page mon ip était bannie assez rapidement.

[xTrade]

Bon, vu que ce n'est pas pour étudier le positionnement (je garde cette fonctionnalité pour moi, tant pis ), je réparti la charge de la manière suivante : choix entre google, yahoo et live (pour ces deux derniers, ils auront l'impression d'avoir du monde ) puis choix aléatoire d'un data center.

Je n'ai plus qu'à trouver une liste d'ip des data centers de live (c'est pas aussi simple que google voir même que yahoo )