cURL et statistiques

Bonjour à tous,

J'ai une petite question qui me taraude : j'utilise cURL pour aller visiter les sites de mes concurrents et rapporter quelques informations de veille (rien de bien méchant...)

Est-ce que le passage de mon script sur leurs sites internet est transparent ou le voient-ils sur leurs statistiques ?

D'avance merci pour votre réponse,

si tu mets un user agent qui ressemble à ceux des navigateurs et que tu ne mets pas l'aspirateur à fond (pas trop de pages et récupération de chacune avec un petit sleep() entre) il y a peu de chance de se faire repérer.

Bah chez moi, tu verras un joli... rien car justement t'es vu.

finstreet a écrit:Bah chez moi, tu verras un joli... rien car justement t'es vu.

Sur quel site ?

C'est impossible de détecter CURL si tu paramètres bien les options et que l'IP de ton serveur n'abuse pas.

Ok, donc y aller molo et ajouter un sleep() pour ne pas se faire repérer.

Merci à tous pour vos réponses,

Thibaut

souri84 a écrit:Ok, donc y aller molo et ajouter un sleep() pour ne pas se faire repérer.

Merci à tous pour vos réponses,

Thibaut

Pas forcément.
Tu crois que le navigateur met des temporisations pour récupérer toutes les ressources du site (image, css, JS, etc.) ?

Si tu gères les cookies et un ptit referer propre, ils ne peuvent pas être sur à 100% que tu ne sois pas un humain.

forty a écrit:C'est impossible de détecter CURL si tu paramètres bien les options et que l'IP de ton serveur n'abuse pas.

User-Agent: vBulletin via cURL/PHP

C'est pas tous les curl mais bon...

finstreet a écrit:

forty a écrit:C'est impossible de détecter CURL si tu paramètres bien les options et que l'IP de ton serveur n'abuse pas.

User-Agent: vBulletin via cURL/PHP

C'est pas tous les curl mais bon...

Bin justement, le but est de configurer cURL pour qu'il se fasse passer pour un navigateur du marché, et cela se fait très simplement. C'est d'ailleurs la première chose que je fais quand j'utilise cURL.
Et c'est ce qui sera fait si le gars se rend compte qu'il ne récupère rien

et légalement c'est autorisé ?

Pourquoi cela ne le serait pas ?
Interdire la récupération de contenu revient à interdire la navigation sur le site. Tout dépend de ce qui est fait.

Petite nuance. Il y a visite, aspiration, avec l'impossibilité de bloquer cet acte (comme tout robot "officiel"). Et comme tu dis, ca dépend de ce qui est fait du contenu. Par exemple, faire de la veille et revendre une information provenant d'une aspiration de site que le site ne peut interdire. Pas sur que ce soit légal.

Oui, mais il est tout à fait possible de faire cela avec un navigateur comme Firefox. La légalité n'a rien à voir avec l'outil utilisé.
Je peux très bien utiliser cURL pour me faire un navigateur maison, il en est capable

Un outils d'agrégation de flux RSS/Atom pourrait très bien utiliser cURL.

Donc, ce n'est pas l'outil qui est à contrôler, c'est ce qui est fait avec le contenu récupéré.

Lorsque j'aspire des pages de Yahoo avec un sleep(), il me bloque quand même à un certain niveau et je n'ai pas trouvé comment contourner ce blocage. Pourtant, mon sleep est de 2s et je pensais que cela suffirait mais ce n'est pas le cas.

Blount... quelque soit l'outil, je ne suis pas sur que légalement, tu aies le droit d'aspirer tout un site.