Proportion des robots sur un forum

[zeb]

Note bien que tu utiliserait un script perso t'aurais pas de souci avec les bots spammeurs.
Ensuite les classiques "posting.php" "viewtopic.php" gagnent a être renommés en masse (scripts, liens ...) sur le système utilisé pour esquiver la phase de recherche de cible et devenir incompatible avec les bots de spam.

[hibou57]

Note bien que tu utiliserait un script perso t'aurais pas de souci avec les bots spammeurs.

Je sais. La diversité (*) et la meilleure protection, dans l’informatique, comme dans le vivant. Les hackers et les robots seraient bien en peine s’ils arrivaient plus souvent sur des systèmes chaque fois différents.

Mais ce forum, je l’ai repris, il n’est pas de moi à l’origine. Si j’avais ouvert un forum moi‑même, je l’aurais effectivement créé de toute pièce. Mais là, ça poserait trop de problèmes aux utilisateurs et en plus, ça me prendrait très longtemps, pour un forum qui en plus n’est même pas rentable pour moi.

Le renommage, j’y ai pensé, mais pas encore fait. Ce qui me pose problèmes aussi avec les modifications persos (déjà que j’en ai beaucoup), c’est qu’il faut tout refaire à chaque mise à jours de phpBB. Il y a récemment eu une mise à jour, que je n’appliquerai peut‑être pas à cause de ça.

Dans l’ensemble, oui, je suis d’accord. Il faudrait que le forum n’apparaisse plus aux yeux des robots, comme un système qu’ils connaissent par cœur.


(*) Le « prêt à consommer gratuit » va malheureusement dans le sens tout à fait inverse, en généralisant partout des systèmes tous identiques.

[zeb]

Le « prêt à consommer gratuit » va malheureusement dans le sens tout à fait inverse, en généralisant partout des systèmes tous identiques.

Et en minimisant les frais de conception. Vive le chômage cherchez l'erreur

Ce qui me pose problèmes aussi avec les modifications persos (déjà que j’en ai beaucoup), c’est qu’il faut tout refaire à chaque mise à jours de phpBB.

Quand j'ai installé mon premier phpBB (pour une copine) il m'a fallu deux mois pour dire "Jamais plu" depuis j'ai dev mon système (avec l'aide de la dite copine entre autre) et depuis j'ai jamais fait un maj chiante.

[hibou57]

Quand j'ai installé mon premier phpBB (pour une copine) il m'a fallu deux mois pour dire "Jamais plu" depuis j'ai dev mon système (avec l'aide de la dite copine entre autre) et depuis j'ai jamais fait un maj chiante.

H.S. Ça existe en vrai pour de vrai des copinnes comme ça ? T’es tombé sur un miracle toi.

Et en minimisant les frais de conception. Vive le chômage cherchez l'erreur

Re‑H.S. Passe sur mon forum, et cherche un topic à propos du revenu universel (il est dans « Sciences / Économie et Gestion »). Tu devrais y trouver tout un tas de liens intéressants à lire (*) à ce propos. L’erreur est dans un système économique archaïque, inadapté au monde contemporain. La technologie et « l’ordre » sociale ne sont pas en phase. Le problème vient surtout de là.


(*) Passe les à ta copinne aussi. Vu le miracle qu’elle a l’air d’être, ça devrait l’intéresser

[zeb]

Ça existe en vrai pour de vrai des copines comme ça ? T’es tombé sur un miracle toi.

Oui oui il y en a même si c'est très rare. Faut dire qu'avec les informateux trouver un point de partage genre conversation où on rigole a deux c'est pas simple. Mais avec elle ça passe top.

[hibou57]

Note bien que tu utiliserait un script perso t'aurais pas de souci avec les bots spammeurs.
Ensuite les classiques "posting.php" "viewtopic.php" gagnent a être renommés en masse (scripts, liens ...) sur le système utilisé pour esquiver la phase de recherche de cible et devenir incompatible avec les bots de spam.

En fait, je ne vais pas changer les liens, et je vais utiliser le forum comme un pot de miel Ce qui ne sera pas grave, puique chaque nouvelle IP de robot est bloquée dans la journée au plus tard.

Sur un forum, les robots sont plus faciles qu’ailleurs à identifier sans ambiguïté, parce qu’ils créent des compte. Mais il peut être utile de bannir les IPs des robots pour tous les autres types de site, parce que je viens de vérifier que même sur ce qui ne ressemble pas du tout à un forum, les robots scannent souvent. Donc les bloquer pour plusieurs sites, peut faire économiser de la bande passante, en plus de les empêcher de fausser les statistiques sur les navigateur et les plateforme (parce que franchement, avoir des logs et des statistiques qui montrent des accès depuis IE5.5 sous Windows 3.1, c’est n’importe quoi).

Je vais donc constituer une liste des IPs, et plus tard, quand elle sera trop longue, je la réduirai en utilisant des masques. Je pense que des masques sur les 8 bits de poids faible devraient être raisonnables. Je donnerai un lien un jour prochain, parce que si je poste une liste ici, je ne pourrai pas la mettre à jour, à cause du délais limite pour l’édition des postes.

J’accompagne chaque IP d’un commentaire donnant la date de son ajout à la liste. C’est important, pour la raison donnée dans un précédent message (IPs changeant de main pour cause de pénurie IPv4).

En tous les cas et pour le moment, je ne peux que fortement recommander d’avoir au moins ceci, comme liste de blocage :

Code: Tout sélectionner

<Limit GET HEAD POST>

   order allow,deny
   allow from all

   deny from 213.186.96.0/19 # 2012-01-01

</Limit>


Ce 213.machin.truc est une vrai teigne. C’est même le seul qui a pour l’instant droit à ce privilège impardonnable, d’être bloqué en tant que plage, alors que tous le reste, est une liste de blocage par IPs individuelles.

Note : si vous utilisez une page 403 personnalisée, ce qui est recommandable pour au moins donner un message invitant à vous contacter, si par accident vous bloquez un internaute qui n’est pas un robot‑nuisible, alors placez la page 403 personnalisée dans un sous répertoire disposant d’un .htaccess spécifique, sinon elle sera elle‑même bloquée (oops). Dans ce répertoire, créez un .htaccess contenant simplement ceci :

Code: Tout sélectionner

<Limit GET HEAD POST>

   order allow,deny
   allow from all

</Limit>


Créez une page 403 personnalisée qui soit autant standalone que possible, pour ne pas gaspiller la bande passante. Évitez le CSS externe, et préférez un très court CSS interne; et bien sûr, évitez les images.

[hibou57]

Bilan après une semaine.

La liste dans le .htaccess s’est rapidement allongé, elle arrive à 650 entrées environ. Mais je peux maintenant dire que oui, c’était bien dut au robot.

Quand j’ai ouvert ce topic, je trouvais un nombre de d’affichages de page dans AdSense, qui représentait 1/10 des affichages annoncés dans BBClone.

Pour rappel, j’ai cru un temps que c’était dut à la grande proportion d’internaute arrivant via la recherche d’image, mais la mise en place d’une redirection faisant sortir de l’eframe de la recherche d’image de Google, n’a pas changé ce ratio. J’ai aussi cru à une activité plus grande que je ne le pensais chez les membres inscrits et connectés, mais certains détails l’excluait.

Depuis une semaine par contre, en bloquant systèmatiquement les IPs que j’identifie manuellement comme celles de robots spammeurs en tout genre (spam‑referer, spam par la signature, tentative de poster des postes‑spam, scan abusif des profils, etc), j’ai vu ce ratio notablement évoluer. Il est passé de 1/10 à 1/8 au pire et à 1/6 au mieux.

Ceci signifie que en bloquant les robots de cette manière, j’ai put constater que les robots spammeurs, à eux seuls, représentaient de 20% à 40% des accès, en gros et selon les jours.

La cause, était bien à voir du côté des robots.

Je posterai un autre bilan plus tard, à une date indéterminée, quand j’aurai mis en place le blocage par plages et non plus par IPs individuelles. Cela devrait être encore plus efficace, et je dirai ce qu’il en est alors des ratios une fois cette étape suivante franchie.

Je ne communique pas encore la liste de blocage que j’ai constitué, pour le moment, je le ferai un autre jour.

Un lien intéressant, si une IP vous parrait avoir un comportement suspect, sans que vous n’ayez pourtant de certitude : http://www.stopforumspam.com/ Ça peut être utile pour affiner l’idée que vous‑vous faites d’une IP, et savoir si oui ou non vous devez l’ajouter à votre liste de blocage.

[hibou57]

Un nouveau comportement vicieux que je viens de découvrir aujourd’hui.

Certains robots arrivent maintenant avec un referer qui peut les faire sembler naturel. Un referer correspondant à une recherche Google sur des expressions qui sont effectivement de celles avec lesquelles les visiteurs humains arrivent.

C’est pervers, et il faut alors être doublement vigilant dans l’inspection des logs.

Questions : comment déterminent‑ils les expressions sur lesquelles le forum ressort ? Est‑ce un changement de stratégie des robots suite au blocage de tous les autres les ayant précédé ?

Par mesure de sécurité, j’ai changé le nom du répertoire des statistiques, en me disant qu’il l’avait peut‑être trouvé par un referer que j’aurais accidentellement suivi depuis la page des statistiques (habituelle, je copie/colle l’URL). Mais ça ne correspond pas, parce que les statistiques que j’ai avec BBClone, ne donne que des mots, pas des expressions. Je suis aussi passé par la configuration site par site d’Opera, pour choisir de ne plus renvoyer de referer lorsque je clique un lien depuis un de mes propres sites, en fait, surtout éviter d’en renvoyer un en cliquant un lien depuis une page de statistiques.

[hibou57]

Le spam‑referer me semble souvent venir d’adresses en 173.234.*.* (pas seulement de ces adresses, mais le plus gros).