Proportion des robots sur un forum

[hibou57]

Bonsoir,

Ça fait un petit peu de temps que je m’interroge, et ne trouvant pas de réponse, je fini par poster ici, à la recherche d’éclairages, s’il en existe.

Sur un forum, d’après BBClone, en ne comptant pas les robots d’indexation ni même mes propre passages assez fréquents, j’ai environ 1500 affichages/jours. Je sais qu’il existe des robots qui passent leur temps à scanner tous les forums, tentent de s'y inscrire pour récolter des e-mails (non visibles même pour les membres, ils peuvent rêver les robots), mais j’estimais leur nombre, au pire, à un tiers des visites.

Depuis que j’ai ajouté des AdSense, il y environ 15 jours, je trouve, d’après AdSense, un tout petit 150 affichages par jour en moyenne.

J’ai vérifié que les AdSense s’affichent sur toutes les pages.

Je ne pense pas que AdBlock soit répandu à ce point, pour expliquer un tel écart, et en même temps, si cet écart s’expliquait par le fait qu’un grand nombre de visites sont celles de robots tentant de spammer, ça ferait un énorme ratio de robots dans le total des visites.

Je ne comprend rien.

Pour les gens qui ont des forums depuis longtemps, et qui en ont l’habitude, quel est le ratio de robots spammeurs, environ, dans le nombre total de visite ?

1500 affichages/jours, dont seulement 150 seraient le fait de vrais visiteurs, cela signifierait que 90% des visites sont en fait des visites de robots tentant de spammer ou de récolter des adresses mails. Ce serait énorme, ce n’est pas possible… ou si ? Et 90% des visiteurs utilisant AdBlock, je n’y crois pas non-plus, et ça serait en contradiction avec d’autres chiffres ailleurs.

1500 - 150 = 1350. Que sont ces 1350 affichages fantômes ?

Note : je n’ai pas voulu installer Google Analytics sur ce forum. Mais BBClone doit être raisonnablement correcte, ou non ?

Je suis perdu, je ne sais même plus où j’en suis, je ne sais plus quoi penser de l’activité de ce forum. Y a un truc qui cloche, mais quoi…

[MikeR]

Moi, je compare les rapports Adsense et mes logs du serveur.
Les robots représentent moins de 1% des hits (d'après mes logs).

Ensuite les pages vues d'après Adsense représentent environ seulement 80% à 90% des pages vues d'après les logs. Donc il y a un écart, mais pas énorme, rien à voir avec tes chiffres. On peut penser qu'il y a des bots qui se font passer pour des utilisateurs (type de browser) et qui sont loggés comme tels au niveau des logs, mais qui sont rejetés par Adsense comme utilisateurs valides.

J'oubliais, il y a aussi le bot qui essaye de spammer ton forum, en tentant de poster des commentaires automatiquement sur ton forum.... Celui la aussi te fera beaucoup de pages vues mais pas prises en compte par Adsense.

As-tu accès à tes logs? Ca te permettrait de comparer.

[hibou57]

C’est bien ce que je pensais, c’est bien trop énorme. Il n’y a que toi qui ai donné un avis, mais j’imagine que d’autres en dirait de même.

J’ai quand même oublié de donner une autre raison possible d’un écart. Les annonces ne s’affichent que pour les non‑membres et non‑connectés, donc les affichage des membres connectés, ne peuvent pas se retrouver dans le total des affichages AdSense. Mais même avec ça, je trouve que que ça fait encore beaucoup.

Je ferai d’autres statistiques personnels, sans BBClone, qui ne convient peut être pas pour mon usage.

Sinon, j’avais essayé de bloqué les robots qui viennent de Chine et d’Ukraine, mais je ne comprend pas pourquoi, ça bloquait aussi des gens en france, alors j’ai arrêté. Et j’ai bien vérifié que les gens qui se trouvaient bloqués, n’avaient pas du tout une IP dans intervalle des IP des robots que je voulais bloqué. Sais pas où j’ai gaffé.

Je voudrais me débarrasser de ce parasitage.

[zeb]

Attention avec adsense car même si il y a "demande d'annonce" elle est pas forcement satisfaites donc il faut zieuter du côté des pourcentages demande / affichage je sais plus où. ça peut aussi expliquer que tu ai moins d'affichages adsense que de visites

[hibou57]

Ensuite les pages vues d'après Adsense représentent environ seulement 80% à 90% des pages vues d'après les logs. Donc il y a un écart, mais pas énorme, rien à voir avec tes chiffres.

Ça vient peut être finalement de AdSense. Alors que la fréquentation du forum n’a pas changé, le nombre d’affichages de pages par jour, est passé de 200 environ à 400 environ, d’un coup, depuis 3 jours.

Ça veut dire qu’il faut attendre encore plus longtemps avant de faire un bilan. Je crois que 3 ou 4 mois ne serait pas de trop.

Note en marge : il est quand même faible le CTR sur un forum. Il semble varier entre 0.3% et 0.4%; c’est peu.

[MikeR]

Note en marge : il est quand même faible le CTR sur un forum. Il semble varier entre 0.3% et 0.4%; c’est peu.

Et encore, je pense que tu dois t'estimer heureux, pour un forum.

[hibou57]

C’est peut être parce que la publicité chez moi, ne s’affiche pas pour les membres connectés, et que les membres connectés ne visitant probablement que très peu les annonces, étant là pour autre chose, ça doit faire nettement baisser le CTR pour un forum, que d’afficher les annonces aussi pour les membres connectés.

Il faut distinguer ces deux cas, qui ne peuvent pas être comparés.

0.3 à 0.4, c’est faible quand même Mais ça peut évoluer peut‑être. Je compte être très présent sur ce forum pendant tout 2012 au moins encore, et ensuite prendre un peu de distance s’il ne marche pas, mais sans jamais l’abandonner quoiqu’il arrive.

Au fait, qui c’est qu’a tweeté ce topic ?

[hibou57]

Je viens de penser à un autre truc.

Beaucoup de gens arrivent sur le forum via la recherche d’images de Google (40 à 60%, facilement, selon les jours). En fait, quand je dis « arrivent », je devrais dire « passent à côté », parce que Google Image affiche le forum dans un eframe, avec une image posée par dessus. C’est compté comme une visite du forum, mais en fait le forum n’est pas vraiment visité, et je me demande si justement, ça n’a pas aussi un effet sur les AdSense. Je viens de faire un teste, et je vois bien celui du haut s’afficher, mais quid des autres ? Parce que évidemment, la page du forum ne peut pas être défilée. De toute manière, même s’il s’affiche, il ne peut probablement pas être cliqué normalement, et un masque alpha est appliqué de plus.

Devrais‑je ajouter un script de redirection pour que le forum ne soit jamais affiché dans l’eframe de la recherche de Google Image et que tout affichage du forum dans un eframe redirige vers le forum en lui même ?

Je ne sais pas, je pose la question, juste une idée comme ça…

Je ne me suis jamais trop posé la question de savoir si c’est bon ou pas de laisser Google Image court‑circuiter un site comme il le fait. Existe t‑il des ressources documentaires sur la question ?

[hibou57]

Sur un forum anglophone, ils parlent d’un intervalle d’adresses qui permet de bloquer plusieurs robots Ukrainien ennuyeux. Je suis tombé sur cette page en cherchant à me renseigner sur un robot qui me semblait bizarre.

Voir : AhrefsBot

My notes from a couple months ago:

Code: Tout sélectionner

deny from 213.186.96.0/19 #various bad bots at DataCenter, Ukraine

Ils se plaignent du trop grand nombre de hits de ces robots (apparement 2 robots au moins). Comme je viens de bloquer la même plage d’adresse, je pourrai dire dans quelques jours si ça m’a l’air plus clair après ce blocage ou pas.

[hibou57]

Ça vient peut être finalement de AdSense. Alors que la fréquentation du forum n’a pas changé, le nombre d’affichages de pages par jour, est passé de 200 environ à 400 environ, d’un coup, depuis 3 jours.

Non, en fait ça correspondait à une hausse de fréquentation temporaire due à des requêtes Google sur des thèmes de fêtes de fin d’année. Maintenant retour aux fréquentations indiquées dans la poste initial, et la proportion reste la même, et seulement entre 10% des visites semblent être des visites de vrais internautes, et je rappel que c’est en dehors des robots d’indexation des moteurs de recherche.

C’est pas possible une chose pareille, je n’y comprend rien.

Pire encore, il semble que je sois seul dans ce cas ? Je n’ai pourtant pas créé un honey pot.

-- EDIT -- Voir aussi peut‑être ce sujet : Rediriger depuis Google Image : une bonne ou mauvaise chose ? Je ne sais pas s’il est une réponse à cette question, mais il est une tentative de comprendre ce qu’il se passe.

[hibou57]

Ça pourra être plus parlant, je donne directement un extrait des statistiques BBClone, pour recevoir des avis sur ce qui me semble étrange ici aussi.

Code: Tout sélectionner

Sujet                 51868  34.68%
Panneau utilisateur   38482  25.73%
Accueil               22402  14.98%
Poste                 13472   9.01%
Chercher              12939   8.65%
Forum                  8494   5.68%
Liste des membres      1174   0.78%
Connecté(e)s            531   0.36%
FAQ                      57   0.04%
Map                      36   0.02%


L’accès au panneau utilisateur représente 26% des accès. C’est trop, c’est pas normal. Et ce ne sont as les robots de moteurs de recherche. C’est énorme, 26%, les accès aux sujets font à peine 8 à 9 points de plus, avec 34 à 35%. C’est pas normal ça.

Ça vous semble normal à vous ?

La page d’accueil, 15% des accès, ce n’est pas normal non‑plus. C’est trop, sachant que la totalité des vrais visiteurs arrivent sur un sujet.

Il faudrait peut‑être que je fasse des statistiques séparées, pour les accès connectés et les accès non‑connectés. Mais je ne pense pas que les membres passent autant de temps sur leur panneau utilisateur.

[zeb]

Panneau utilisateur 38482 25.73%

Tu n'aurais pas des utilisateurs parasites qui viennent juste s'inscrire pour avoir leur lien www ?

[hibou57]

Les utiliateus parasites, il y en a, par vague (parfois une trentaine en une seule journée), mais ils ne restent jamais plus que quelques heures, je les supprime. Seuls les comptes des membres actifs ou ayant été actifs, et pas pour faire du spam, restent sur ce forum, les autres je les supprime dans la journée.

La redirection pour sortir de l’iframe Google Image n’a rien changé. Je vais faire les statistiques séparés dont je parlais. Je vois ça demain.

Au fait, j’ai oublié de préciser que les extraits de statistiques plus haut, sont des valeurs sur 4 mois environ (oui, je sais, c’est pas la grande foule).

[hibou57]

J’ai par exemple plusieurs visites tous les jours, issues d’un domaine comme sr5-312.hostkey.ru. Le prefixe change, mais ça se termine toujours en hostkey.ru. Je ne sais pas si c’est du spam‑referer ou un robot spammeur classique. Ça change souvent d’IP, alors je ne sais pas comment le bloquer.

Sinon, j’avais essayé de bloqué les robots qui viennent de Chine et d’Ukraine, mais je ne comprend pas pourquoi, ça bloquait aussi des gens en france, alors j’ai arrêté. Et j’ai bien vérifié que les gens qui se trouvaient bloqués, n’avaient pas du tout une IP dans intervalle des IP des robots que je voulais bloqué. Sais pas où j’ai gaffé.

J’ai finalement put avoir la réponse à cette question. Pour la résumer : avec la pénurie d’adresses IPv4, des FAI français ont repris des adresses IP précédemment utilisées en Russie. D’après ma propre expérience, je dirais également des adresses précédemment utilisées en Ukraine. La liste d’IPs que j’avais utilisé, était obsolète.

Sinon, un dernier mot pour le bilan jusqu’ici : j’ai l’impression de voir une sévère recrudescence de robots depuis que je me suis inscrit sur quelques annuaires, que j’avais pourtant bien sélectionné, à l’exception d’un seul. J’ai voulu varier un peu avec un annuaire ordinaire pas nécessairement bien placé.

Je ne peux pas garantir que l’inscription dans des annuaires soit vraiment la cause, ni que ce sont chez les annuaires réputés ou sur l’annuaire peu réputé, que les robots ont été récupérer l’adresse d’un forum sur lequel ils ont décidé de s’acharner (heureusement que rien ne parait pour les membres, et que je supprime les compte de robots dès que je les repère).

Je vois maintenant, depuis quelques semaines, arriver des robots localisés en Suisse Je suis dégouté, même la Suisse s’y met

[hibou57]

Une chose que je viens de corriger.

Pour que les IP bannis sur le forum ne soient plus comptés par BBClone, j’ai déplacé le code BBClone pour qu’il se trouve après l’execution des instructions au delà desquels une IP filtré a été effectivement filtré; c’est à dire, aprés le bloc identifié par un

Code: Tout sélectionner

// Start session management

ou parfois juste un

Code: Tout sélectionner

// Start session

Avant, le code BBClone était au tout début de chaque PHP concernés. Je crois qu’il ne faut pas le faire comme ça, c’était une erreur.

Je n’ai pas put le faire avec viewtopic.php, parce que ça me renvoi des message d’erreur dans les pages, que je n’arrive pas à désactiver (pas au point BBClone). Alors pour viewtopic.php, je l’ai laissé au début, tout en haut. Mais ça ne devrait pas être grave, vu que les robots passent le plus souvent sur la page d’accueil et la page du panneau utilisateur, nettement moins souvent sur les topics.

J’ai aussi décidé ne plus me contenter de simplement supprimer les comptes des robots, mais de toujours bannir l’IP de chaque compte en même temps. J’espère juste que ça ne va pas me faire bloquer des membres légitimes. Mais comme je ne bloque plus des plages, et maintenant plutôt des IPs individuels, ça devrait aller.

Plus tard, je prendrai cette liste, pour faire des blocages directement depuis le .htaccess, pour faire l’économie au maximum de la petite charge qu’occasionnent peut‑être les accès par ces robots envahissants.

Je dirai dans une semaine si je vois une différence.