Psycheclone, robot ou aspirateur ?

[cedriic]

Bonjour,

Cela fait deux fois ce mois de juin que mon script anti aspirateur m'informe qu'un certain psycheclone (ce nom est récupéré par http_user_agent dans mon script) tente de visiter mes pages à plus de 25 pages/minute.

Cette chose est venu le 02/06/2006 avec l'IP 208.66.195.3 puis le 09/06/2006 avec l'IP 208.66.195.10

Une recherche sur Google avec psycheclone ne donne que des pages de logs où l'on voit que ce truc possède visiblement la plage d'IP commençant par 208.66.195 et donc semble être un robot.

Un whois sur une des IP de la chose donne :

McColo Corporation MCCOLO (NET-208-66-192-0-1)
208.66.192.0 - 208.66.195.255
Digital Infinity Ltd DIGITALINFINITY (NET-208-66-195-0-1)
208.66.195.0 - 208.66.195.15

La première boîte existe (http://mccolo.com/english/index.html) et fait de la location de serveur mais la seconde n'a pas de site web bien qu'on retrouve la trace de cette société ici (si il s'agit bien de la même) : http://www.ukdata.com/numbers/05152250.html

Alors ami ou ennemi ?

@+

[Boby Night]

J'ai égement un robot a ma disposition (le bobybot )
Dans le cas d'un truc pas connu, c'est peut etre utilisé pour des besoins spécifiques. (pub, espionnage pub, ptet qu'il clique sur tes adsense ?)
Ou encore récupère-t-il des morceaux de code pour les utiliser a son compte de façon automatique...
Regardes surtout son comportement pour voir ce qu'il en est

[Borower]

J'ai égement un robot a ma disposition (le bobybot )
Dans le cas d'un truc pas connu, c'est peut etre utilisé pour des besoins spécifiques. (pub, espionnage pub, ptet qu'il clique sur tes adsense ?)
Ou encore récupère-t-il des morceaux de code pour les utiliser a son compte de façon automatique...
Regardes surtout son comportement pour voir ce qu'il en est

C'est tres interessant ce que tu viens de dire.
Quels sont les technologies utiliser pour créer un robots ou bots.
DSL pour ma questions qui peut paraitre stupide

[ecocentric]

J'ai égement un robot a ma disposition (le bobybot )
Dans le cas d'un truc pas connu, c'est peut etre utilisé pour des besoins spécifiques. (pub, espionnage pub, ptet qu'il clique sur tes adsense ?)
Ou encore récupère-t-il des morceaux de code pour les utiliser a son compte de façon automatique...
Regardes surtout son comportement pour voir ce qu'il en est

C'est tres interessant ce que tu viens de dire.
Quels sont les technologies utiliser pour créer un robots ou bots.
DSL pour ma questions qui peut paraitre stupide

Un interpréteur Perl ou Python et c'est parti ! Ces deux langages incluent ce qu'il faut pour traiter des formulaires, ouvrir des URLs, analyser des chaines, etc.

[Borower]

Merci pour ta reponce ecocentric
Avec un windows on peut utiliser (lancer) des scripts Perl ou Python ou il faut utiliser un type de machine preci ? (Linux)

[Serious]

Avec un nom pareil, surement ennemi.
Au mieux, c'est du scraping avec markov derriere donc pas de dommage pour toi (a part la BP), au pire du mirroring.
Par ailleurs, tu utilises quoi comme antibot?
mon site ayant ete clone au moins trois fois...

[cedriic]

Hello,

J'ai trouvé un script simple et efficace ici : http://www.1001bd.com/stop_aspirateurs/

Je l'ai modifié pour pouvoir accepter les IP de confiance (celle des robots) car certains bots de google aspirent plus de 25 pages/minute qui est la limite que j'ai fixé pour bloquer une IP

Je ne me sers pas du USER_AGENT qui est falsifiable plus facilement qu'une IP (je ne me rapelle d'ailleurs pas si ce script l'utilisait au départ).

Pour la liste des IP de confiance : http://iplists.com/nw/

Voilà, en tous cas le mystère psycheclone reste entier

[ecocentric]

Merci pour ta reponce ecocentric
Avec un windows on peut utiliser (lancer) des scripts Perl ou Python ou il faut utiliser un type de machine preci ? (Linux)

Je suis sous Windows, parfois sous Linux. Python fonctionne très bien sur les deux. Pour Perl, je ne l'ai utilisé que sur un serveur Linux, mais ça doit tourner sous Windows aussi. Dans les deux cas, il faut télécharger un interpréteur. J'ai choisi Python, pour des scripts de type robots, que je trouve plus simple d'utilisation (il y a moyen de faire du code impigeable sous Perl). Ceci étant, il y a des bibliothèque tout-à-fait impressionnantes sous Perl, par exemple pour faire des bots qui gèrent les formulaires.

[thierry8]

Ca peut également être un robot en C++, etc...
Tu peux faire dans tous les langages, même en php...

[cedriic]

Bonjour,

Le mystérieux psycheclone est revenu hier et aujourd'hui avec les IP 208.66.195.11 et 208.66.195.11

Il insiste...

[Digit]

Je confirme, j'ai eu sa visite de plusieurs ip.
Comme il prend aussi robots.txt, je l'y ai inséré pour voir s'il le respecte.

[karan]

Alors ami ou ennemi ?

@+

Probablement ennemi.
http://forums.digitalpoint.com/showthread.php?t=92965
.

[Linkid]

Chez moi aussi, il est venu... Dès que j'ai vu qu'un nouveau robot est venu sur mon site, j'ai été surpris ! Et puis en plus il est Russe ...
Son IP : 208.66.195.4

Enfin, ce n'est que le deuxième russe...

[Linkid]

Sinon, il y a aussi un certains -http://irl.cs.tamu.edu/crawler qui est venu sur mon site... (même question que pour psycheclone : ami ou ennemi ?)

[mijsoot]

Je me suis fait visiter aussi au mois de juin, 1527 hits !!!!

J'ai trouver ça dans mes archives :

Code: Tout sélectionner

SetEnvIfNoCase User-Agent "psycheclone" bad_bot
SetEnvIfNoCase User-Agent "SurveyBot/2.3" bad_bot
SetEnvIfNoCase User-Agent "ia_archiver" bad_bot
SetEnvIfNoCase User-Agent "SBIder/0.8-dev" bad_bot
SetEnvIfNoCase User-Agent "aipbot/1.0" bad_bot
Deny from env=bad_bot

A mettre dans le .htaccess


Tant qu'à faire on en dégage d'autre en même temps. Par contre je viens de le mettre en place et je ne sais pas si cela fonctionne correctement.



A +