Quoi pour détecter les méchants Bots ?

[1-sponsor]

le forum de débutants fera l'affaire...

salut à tous,

Je vois quelques membres ici causes des méchants bots qu'ils détectent sur leur site... je me suis mis à bloquer les bots connus avec un htaccess, ce qui me semble carrément indispensable.

Ma question est : quel sont les meilleurs solutions dispo. pour détecter facilement les bots qui parcours nos sites ? Je pense qu'il y a autre chose que la lecture des logs du serveur, mais quoi ?

Merci au pro qui saura m'instruire

[jcaron]

Si c'est un bot "propre" qui respecte robots.txt (et qui dont le lit), tu renvoies le robots.txt vers un script qui va logger les IPs et User-Agents de bots en question.

Mais tu peux nous donner un exemple d'un "méchant" bot qu'il y aurait un intérêt à bloquer?

Jacques.

[mipc]

le bot JAVA par exemple, si non y a des listes et puis BaiDuSpider si tu ne risque pas d'avoir de client en chine, parce que faut pas déconner il vient 40 000 fois par jour tous les jours alors que le site n'a pas changer, alors je veux bien parce que j'ai la bande passante illimité chez 1AND1 sur mon packpro performance, m'enfin tout de même.

[1-sponsor]

Le but est de bloquer les méchants, bien sûr, qui se foutent du robots.txt... J'ai pas d'exemple en tête, sinon je ne chercherais pas la solution pour détecter-traquer les bot

Je bloque déjà Java...

En fait sur certains serveurs et à certains moments, j'ai des consommations de malades et je sais que c'est à cause de bots, je voudrais bien pouvoir lire d'un simple coup d'œil lesquels sont en cause, et pouvoir le refaire à l'avenir Franchement pour moi, toute économie de mon serveur est bonne à prendre, surtout dans ces temps ou google prend comme critère la vitesse d'affichage du site

[Olivença livre]

c'est un pb récurrent ... je me demandais si on ne pouvait pas récupérer leur ip ou autre chose qui les caractérise et les virer. je n'ai pas encore trouvé la solution ...

[mipc]

déjà .HTACCESS et black-liste de bot:

http://www.google.fr/search?source=ig&hl=fr&rlz=1G1GGLQ_FRFR249&=&q=bl ... =&gs_rfai=

http://forum.joomla.org/viewtopic.php?f=428&t=494485

http://perishablepress.com/press/2009/03/29/4g-ultimate-user-agent-blacklist/

http://www.google.fr/search?hl=fr&rlz=1G1GGLQ_FRFR249&ei=-9_iS7O8MIek- ... ot&spell=1

[1-sponsor]

Pas de solution pour détecter facilement les bot qui visite notre serveur... en fait je pensais à un truc style "google analytics" qui donne la liste des bots ou du genre...

[mipc]

Pas de solution pour détecter facilement les bot qui visite notre serveur... en fait je pensais à un truc style "google analytics" qui donne la liste des bots ou du genre...

y avait un truc en PHP qui utilisait google analytics, mais je l'ai retiré car j'ai eut l'impression que ça introduisais un HACK de mes FICHIER HTML qui semblait être modifier, donc j'évite se genre de truc, tant que j'y connais rien au PHP.

[jcaron]

Il y a (au moins) deux types de bots dont on parle ici:
- les "bons" bots, qui même s'ils abusent ou ne sont pas très uriles, respectent robots.txt (ça doit être le cas de Baidu je suppose)
- les "méchants" bots, qui sont plus souvent des tentatives de hack et autres choses du genre, qui ne respectent rien

Dans les deux cas, ils ne sont pas visibles par Analytics (pour être visible dans GA, il faut que le client exécute le code JS...).

Les premiers peuvent être éliminés via robots.txt, autant passer par là.

Les deuxièmes, par définition, ne sont pas forcément très faciles à repérer: ils n'ont pas forcément un user-agent bien défini, leurs adresses IP peuvent changer (surtout dans le cas de worms et autres botnets). Là, pas de miracle, à part un IDS qui va automatiquement alimenter les règles d'un firewall, pas grand chose d'automatique à faire...

Jacques.

[1-sponsor]

À en voir vos (rares) réponses, je commence à croire que ce que je cherche n'existe pas.

En creusant j'ai trouvé quelques posts. Je les mets en compléments (pas encore eu le temps de tout lire).

http://forum.webrankinfo.com/bot-spam-que-parviens-pas-bloquer-t93544.html
http://forum.webrankinfo.com/descriminer-les-bots-spam-etc-t46343.html
http://forum.webrankinfo.com/frequence-passage-des-robots-bon-script-i ... t5153.html
http://forum.webrankinfo.com/comment-detecter-google-bot-php-t78298.html
http://forum.webrankinfo.com/creation-bot-analyseur-t31826.html

Au final et après réflexion, je crois que je vais devoir mettre en place un script + une BDD avec une table composée d'un champ unique : User-agent
et y enregistrer tout ce qui passe dedans.

[jcaron]

La liste des User-Agents unique est très, très longue. J'en ai une liste de plus de 20 millions...

Jacques.

[1-sponsor]

gloups...

merci pour l'info jacques... je tenterais de trouver une parade...

par exemple :

- logger les user-agent, avec un timestamp et donc une durée de vie en base de donnée avant une futur suppression ...
- si le user-agent a été detecté, par exemple, pour 100 hits en 10 minutes (avant sa supression, expiration de durée de vie) => hop transfert dans une deuxième base de donnée "useragent_grostrafic"... quelque chose du genre...

bon. je vois que tu as creuser la question et que tu n'as pas de solution toute prête mais bon moi, ce qui serait bien, c'est déjà d'identifier les bots les plus pourris qui trainent chez moi... les pires ! je ne cherche pas vraiment de solution permettant de bloquer "tous" les bots inutiles.

merci pour tes interventions jacques

[jcaron]

Je pense que tu vas vite te rendre compte que ceux qui posent problème (les botnets, worms et compagnie) ne sont souvent pas identifiables par leur User-Agent. Ils ne viennent pas chez toi en disant "bonjour je suis botnet/1.0"... Enfin il doit y en avoir quelques-uns quand même, les script-kiddies ne sont pas très futés.

Jacques.

[1-sponsor]

Bah, je cherche à identifier les bots, quand même, relativement honnêtes... C'est sûr qu'il y a encore pire que les méchants bots, les bots de hackeurs etc...

Pour donner un exemple de bot que j'ai pu identifier sur mon serveur, c'est celui de yandex... bon je m'en fout qu'il consomme ma BP celui là. J'ai aussi un bot nommé "Mxbot". Je sais pas trop à quoi il sert celui là, le site d'infos anglais officiel du bot semble honnête.
J'ai pas à cherché l'utilité... je le connais pas, je le bloque.

En gros... Si je pouvais gagner quelques millièmes de secondes de temps de réponse lors des heures de pointe sur mes sites, je serais content j'imagine que tu as étudié le problème pour un projet bien plus conséquent qu'un site unique (régie pub...)

edit : je confonds, c'est pas mxbot, c'est "spinn3r (indexing the blogoshpere)" dont je parlais...

[jcaron]

Ben pour des bots comme ça, le plus simple: tu rediriges ton robots.txt vers un script qui loggue les user-agents et les IPs avant de renvoyer son contenu. Ensuite tu peux décider ceux qui te plaisent ou pas et les ajouter au robots.txt renvoyé (tu peux même automatiser ça en générant le contenu du robots.txt à partir de la liste des user-agents en base avec un flag qui dit si tu le veux ou pas).

Jacques.