Liste d'IP et user agent d'indésirables ? (bot)

[milkiway]

Bonjour,

Connaissez vous une liste des User Agent et ou adresses IP connues comme néfastes ou inutiles ?
Il y a des centaines et des centaines de bot de centaines de projets de moteurs, aspirateurs & co qui sortent chaque jours et qui crawlent nos sites (et consomment des ressources) sans raison valable.
Je souhaiterais les bloquer de mon trafic. Je parle d'interdiction apache et non un simple robots.txt.
Exemple à une époque, un bot nommé Slurp s'acharnait sur deux de mes URL mais le moteur ne m'apportait pas plus de deux ou trois visiteurs par mois.

Merci

 

[Zecat]

Bonjour,
Connaissez vous une liste des User Agent et ou adresses IP connues comme néfastes ou inutiles ?
Il y a des centaines et des centaines de bot de centaines de projets de moteurs, aspirateurs & co qui sortent chaque jours et qui crawlent nos sites (et consomment des ressources) sans raison valable.

A mon avis, pour avoir un peu creusé la chose, l'approche Ip / user agent n'ets pas la bonne :

- les ip : avec les proxy c'est indémerdable
- les user agents : n'importe quel crawler permet de mettre n'importe quel user agent

Perso j'ai mis en place une succession de dispositifs avec comme logique :

- analyser un comportement (nb de pages vues sur des periodes définies plus ou moins longues),
- acceptation des cookies ou pas
- mise en place de pieges a bots (le prealable étant que tu aies mis en place un module fiable d'identification des bon bots que tu autorises pour ne pas leur présenter à eux les pieges à bots).

etc etc

Et ca aboutit a des ban automatiques (pas au niveau htaccess mais simplement ban soft qui redirige ensuite toute visite via header vers une page d'alerte ... et seulement si un bot insiste trop a butter sur la page d'alerte des centaines de fois, j'interviens manuellement pour le coller en deny dans htaccess.

Exemple à une époque, un bot nommé Slurp s'acharnait sur deux de mes URL mais le moteur ne m'apportait pas plus de deux ou trois visiteurs par mois.

C'est yahoo ... :roll:

 

[milkiway]

Oui mais certains utilisent toujours le même UA. Ceux dont je suis sur, je voudrais pouvoir les bloquer. Ils ne sont pas faits pour énerver, c'est juste que je me fous de leur moteur.

 

[Zecat]

ben alors à toi de te faire TA liste parce que le notion de utiles / nefastes va varier selon le point de vue de chacun. Par exemple moi j'ai dcidé sur un site d'autoriser une quinzaine de gros bots et tous les autres : à la trappe. C'est mon choix pour ce site et je doute qu'il soit pertinent pour d'autres.