Visites non désirées

maison-des-rochers · 18 Décembre 2014

Bonjour,

Dans GA, je vois tous les jours une visite depuis un site, basé en russie, forum.topicxxxxx.darodar.com. L'adresse n'existe pas et darodar.com seul ouvre une amazon.com

Aujourd'hui, un nouveau econom.co, basé en russie également, 17 visites en 1 journée !

Qu'est-ce qu'ils cherchent ? Quels risques pour moi? Comment on se débarasse de ce genre de choses ?

Merci d'avance pour votre aide

Bool · 18 Décembre 2014

Bonjour,

perso je pense qu'il faut simplement les ignorer. Ce sont certainements des bots, qui passent par là pour une raison X, et qui en profitent pour pourrir tes logs de visite. En plus ça marche, tu suis les liens.

hibou57 · 18 Décembre 2014

Bool a dit:
[…] des bots, qui passent par là pour une raison X, et qui en profitent pour pourrir tes logs de visite. […]

Ce n’est même pas qu’ils passent pour X raison et en profitent pour spammer les logs, c’est qu’ils ne passent que pour ça. J’en ai presque tous les jours et depuis toujours.

@ maison-des-rochers, ça s’appel du “referer spam”. Tu peux chercher cette expression sur ton moteur de recherche habituel, pour trouver des articles et des témoignages sur ce phénomène presqu’autant vieux que le web.

Bool · 18 Décembre 2014

Oh, je me disais qu'ils en profitaient peut-être pour leacher des adresses emails et autres saloperies quoi

ybet · 18 Décembre 2014

Pour les différents bricolages, us et coutumes d'internet

https://www.webrankinfo.com/forum/t/enormement-derreurs-404.177422/#p1503743

... sans parler des essais en ssh ou proftpd

baud74 · 18 Décembre 2014

du referer spam, c'est courant depuis longtemps, par contre, je ne savais pas que maintenant, ils exécutaient aussi le javascript de GA pour y apparaitre.

ybet · 19 Décembre 2014

baud74 a dit:
du referer spam, c'est courant depuis longtemps, par contre, je ne savais pas que maintenant, ils exécutaient aussi le javascript de GA pour y apparaitre.

Moi non plus mais se rappeler que certains robots déclenchent l'affichage des pubs adsenses: probablement les mêmes.

teralgo · 20 Décembre 2014

blacklister la russie ? via htaccess je le fait pour tout les pays qui ne m'intéressent pas

ybet · 20 Décembre 2014

sebux69 a dit:
blacklister la russie ? via htaccess je le fait pour tout les pays qui ne m'intéressent pas

HTaccess ne bloque que les entrées via HTTP ... manque le reste: te conseille par iptables directement sur le serveur: http, sssh, pop,.... :wink:

teralgo · 20 Décembre 2014

oui iptables et peut etre pas blacklist mais whiteliste si c'est possible j'en sais rien mon htaccess me suffit

zeb · 20 Décembre 2014

sebux69 a dit:
blacklister la russie ? via htaccess

et ça donne combien de lignes dans ton htaccess pour bloquer toutes les plages ip d'un pays ? 500 ? 1000 ? ou tu utilise un autre critère que l'ip ?

teralgo · 20 Décembre 2014

je ne bloque pas la russie car c'est une de mes cible sur le site concerné mais pour la chine ca donne ca

order allow,deny
allow from all

# Get up-to-date list (in .htaccess format) from http://www.wizcrafts.net/chinese-blocklist.html
# China IP Address Blocks
deny from 1.80.0.0/13 1.92.0.0/14 1.192.0.0/13 1.202.0.0/15 1.204.0.0/14 14.144.0.0/12 14.208.0.0/12 23.80.54.0/24 23.104.141.0/24 23.105.14.0/24 27.8.0.0/13 27.16.0.0/12 27.36.0.0/14 27.40.0.0/13 27.50.128.0/17 27.54.192.0/18 27.106.128.0/18 27.115.0.0/17 27.148.0.0/14 27.152.0.0/13 27.184.0.0/13 36.32.0.0/14 36.248.0.0/14 42.96.128.0/17 42.120.0.0/15 58.16.0.0/15 58.20.0.0/16 58.21.0.0/16 58.22.0.0/15 58.34.0.0/16 58.37.0.0/16 58.38.0.0/16 58.40.0.0/16 58.42.0.0/16 58.44.0.0/14 58.48.0.0/13 58.56.0.0/15 58.58.0.0/16 58.59.0.0/17 58.60.0.0/14 58.68.128.0/17 58.82.0.0/15 58.100.0.0/15 58.208.0.0/12 58.242.0.0/15 58.246.0.0/15 58.248.0.0/13 59.32.0.0/12 59.51.0.0/16 59.52.0.0/14 59.56.0.0/13 59.72.0.0/16 59.108.0.0/15 59.172.0.0/14 60.0.0.0/13 60.11.0.0/16 60.12.0.0/16 60.24.0.0/13 60.160.0.0/11 60.194.0.0/15 60.208.0.0/13 60.216.0.0/15 60.220.0.0/14 61.4.64.0/20 61.4.80.0/22 61.4.176.0/20 61.48.0.0/13 61.128.0.0/10 61.135.0.0/16 61.136.0.0/18 61.139.0.0/16 61.145.73.208/28 61.147.0.0/16 61.150.0.0/16 61.152.0.0/16 61.154.0.0/16 61.160.0.0/16 61.162.0.0/15 61.164.0.0/16 61.175.0.0/16 61.177.0.0/16 61.179.0.0/16 61.183.0.0/16 61.184.0.0/16 61.185.219.232/29 61.187.0.0/16 61.188.0.0/16 61.232.0.0/14 61.236.0.0/15 61.240.0.0/14 101.64.0.0/13 101.72.0.0/14 101.76.0.0/15 101.80.0.0/12 103.253.4.0/22 106.112.0.0/13 110.6.0.0/15 110.51.0.0/16 110.52.0.0/15 110.80.0.0/13 110.88.0.0/14 110.96.0.0/11 110.173.0.0/19 110.173.32.0/20 110.173.64.0/18 110.192.0.0/11 110.240.0.0/12 111.0.0.0/10 111.72.0.0/13 111.121.0.0/16 111.128.0.0/11 111.160.0.0/13 111.172.0.0/14 111.176.0.0/13 111.228.0.0/14 112.0.0.0/10 112.64.0.0/14 112.80.0.0/12 112.100.0.0/14 112.111.0.0/16 112.122.0.0/15 112.224.0.0/11 113.0.0.0/13 113.8.0.0/15 113.12.0.0/14 113.16.0.0/15 113.18.0.0/16 113.62.0.0/15 113.64.0.0/10 113.128.0.0/15 113.136.0.0/13 113.194.0.0/15 113.204.0.0/14 114.28.0.0/16 114.80.0.0/12 114.96.0.0/13 114.104.0.0/14 114.112.0.0/14 112.109.128.0/17 114.216.0.0/13 114.224.0.0/11 115.24.0.0/15 115.28.0.0/15 115.32.0.0/14 115.48.0.0/12 115.84.0.0/18 115.100.0.0/15 115.148.0.0/14 115.152.0.0/15 115.168.0.0/14 115.212.0.0/16 115.230.0.0/16 115.236.96.0/23 115.236.136.0/22 115.239.228.0/22 116.1.0.0/16 116.2.0.0/15 116.4.0.0/14 116.8.0.0/14 116.16.0.0/12 116.52.0.0/14 116.76.0.0/15 116.90.80.0/20 116.112.0.0/14 116.128.0.0/10 116.204.0.0/15 116.208.0.0/14 116.224.0.0/12 116.254.128.0/18 117.8.0.0/13 117.21.0.0/16 117.22.0.0/15 117.24.0.0/13 117.32.0.0/13 117.40.0.0/14 117.44.0.0/15 117.79.224.0/20 117.80.0.0/12 117.136.0.0/13 118.26.0.0/16 118.72.0.0/13 118.112.0.0/13 118.120.0.0/14 118.132.0.0/14 118.144.0.0/14 118.180.0.0/14 118.186.0.0/15 118.192.0.0/16 118.248.0.0/13 119.0.0.0/13 119.8.0.0/16 119.10.0.0/17 119.18.192.0/20 119.36.0.0/16 119.57.0.0/16 119.60.0.0/16 119.88.0.0/14 119.96.0.0/13 119.112.0.0/13 119.120.0.0/13 119.128.0.0/12 119.144.0.0/14 119.164.0.0/14 119.176.0.0/12 119.233.0.0/16 120.0.0.0/12 120.24.0.0/14 120.32.0.0/13 120.40.0.0/14 120.68.0.0/14 120.80.0.0/13 120.192.0.0/10 121.0.16.0/20 121.8.0.0/13 121.16.0.0/12 121.32.0.0/14 121.60.0.0/14 121.76.0.0/15 121.196.0.0/14 121.204.0.0/14 121.224.0.0/12 122.10.128.0/17 122.51.128.0/17 122.64.0.0/11 122.119.0.0/16 122.136.0.0/13 122.156.0.0/14 122.188.0.0/14 122.192.0.0/14 122.198.0.0/16 122.200.64.0/18 122.224.0.0/12 123.4.0.0/14 123.8.0.0/13 123.52.0.0/14 123.64.0.0/11 123.97.128.0/17 123.100.0.0/19 123.112.0.0/12 123.128.0.0/13 123.138.0.0/15 123.150.0.0/15 123.152.0.0/13 123.164.0.0/14 123.180.0.0/14 123.184.0.0/14 123.196.0.0/15 123.232.0.0/14 123.249.0.0/16 124.42.64.0/18 124.64.0.0/15 124.67.0.0/16 124.73.0.0/16 124.114.0.0/15 124.126.0.0/15 124.128.0.0/13 124.160.0.0/15 124.162.0.0/16 124.163.0.0/16 124.192.0.0/15 124.200.0.0/13 124.226.0.0/15 124.228.0.0/14 124.236.0.0/14 124.240.0.0/17 124.240.128.0/18 124.248.0.0/17 125.36.0.0/14 125.40.0.0/13 125.64.0.0/12 125.79.0.0/16 125.80.0.0/13 125.88.0.0/13 125.104.0.0/13 125.112.0.0/12 125.210.0.0/15 140.224.0.0/16 140.237.0.0/16 140.246.0.0/16 140.249.0.0/16 159.226.0.0/16 171.34.0.0/15 171.36.0.0/14 171.40.0.0/13 175.0.0.0/12 175.16.0.0/13 175.24.0.0/14 175.30.0.0/15 175.42.0.0/15 175.44.0.0/16 175.46.0.0/15 175.48.0.0/12 175.64.0.0/11 175.102.0.0/16 175.106.128.0/17 175.146.0.0/15 175.148.0.0/14 175.152.0.0/14 175.160.0.0/12 175.178.0.0/16 175.184.128.0/18 175.185.0.0/16 175.186.0.0/15 175.188.0.0/14 180.76.0.0/16 180.96.0.0/11 180.136.0.0/13 180.152.0.0/13 180.208.0.0/15 182.18.0.0/17 182.32.0.0/12 182.88.0.0/14 182.112.0.0/12 182.128.0.0/12 183.0.0.0/10 183.64.0.0/13 183.129.0.0/16 183.148.0.0/16 183.160.0.0/12 183.184.0.0/13 183.192.0.0/11 192.34.109.224/28 192.74.224.0/19 198.2.203.64/28 198.2.212.160/28 202.43.144.0/22 202.46.32.0/19 202.66.0.0/16 202.75.208.0/20 202.96.0.0/12 202.111.160.0/19 202.112.0.0/14 202.117.0.0/16 202.165.176.0/20 202.196.80.0/20 203.69.0.0/16 203.86.0.0/18 203.86.64.0/19 203.93.0.0/16 203.169.160.0/19 203.171.224.0/20 210.5.0.0/19 210.14.128.0/19 210.21.0.0/16 210.32.0.0/14 210.51.0.0/16 210.52.0.0/15 210.77.0.0/16 210.192.96.0/19 211.76.96.0/20 211.78.208.0/20 211.86.144.0/20 211.90.0.0/15 211.92.0.0/14 211.96.0.0/13 211.136.0.0/13 211.144.12.0/22 211.144.96.0/19 211.144.160.0/20 211.147.0.0/16 211.152.14.0/24 211.154.64.0/19 211.154.128.0/19 211.155.24.0/22 211.157.32.0/19 211.160.0.0/13 211.233.70.0/24 218.0.0.0/11 218.56.0.0/13 218.64.0.0/11 218.84.0.0/14 218.88.0.0/13 218.96.0.0/14 218.102.0.0/16 218.104.0.0/14 218.108.0.0/15 218.194.80.0/20 218.200.0.0/13 218.240.0.0/13 219.128.0.0/11 219.154.0.0/15 219.223.192.0/18 219.232.0.0/16 219.234.80.0/20 219.235.0.0/16 220.112.0.0/16 220.154.0.0/15 220.160.0.0/11 220.181.0.0/16 220.191.0.0/16 220.192.0.0/12 220.228.70.0/24 220.242.0.0/15 220.248.0.0/14 220.250.0.0/19 220.252.0.0/16 221.0.0.0/12 221.122.0.0/15 221.176.0.0/13 221.192.0.0/14 221.200.0.0/14 221.204.0.0/15 221.206.0.0/16 221.207.0.0/16 221.208.0.0/12 221.212.0.0/15 221.214.0.0/15 221.216.0.0/13 221.224.0.0/13 221.228.0.0/14 221.232.0.0/13 222.32.0.0/11 222.64.0.0/12 222.80.0.0/12 222.132.0.0/14 222.136.0.0/13 222.168.0.0/13 222.172.222.0/24 222.176.0.0/13 222.184.0.0/13 222.200.0.0/16 222.208.0.0/13 222.219.0.0/16 222.220.0.0/15 222.240.0.0/13 223.4.0.0/14 223.64.0.0/11 223.144.0.0/12 223.240.0.0/13

c'est vrai que c'est un peu long je vais faire ca par iptable maintenant

ybet · 20 Décembre 2014

zeb a dit:
et ça donne combien de lignes dans ton htaccess pour bloquer toutes les plages ip d'un pays ? 500 ? 1000 ? ou tu utilise un autre critère que l'ip ?

Pour bloquer tout ce qui a déjà essayé des bricolages: 2000 lignes en htaccess (chine, russe, Ukraine pour la plus part mais aussi des plages de serveurs françaises, allemandes, néerlandaises, ...) et idem en iptables.

Seule différence, je ne bloque que les plages où au moins 1 adresse a tenté un bricolage: ca me prend une dizaine de minutes par jours.

Dans la liste ci-dessus, il en manque :mrgreen:

zeb · 20 Décembre 2014

Les gars pour iptable je ne dis rien, mais pour ce qui est du htaccess vous avez déjà fait des mesures de performance avec et sans ces X000 lignes :wink: Car là tel que, il vous faut un boing 747 pour transporter un plateau repas de la cuisine au salon

....

ybet · 21 Décembre 2014

Pas tant que cela, juste quelques pourcents sur le serveur (mais avec les pertes de visiteurs, il est un peu surdimentionné).
Et puis 4000 essais en 3 jours d'un serveur avec erreur 404 (cas de début de semaine) ou 403 immédiat: le calcul est vite fait. :mrgreen:

zeb · 21 Décembre 2014

Je ne dis pas qu'il ne faut pas gérer les cas indésirables mais les blocages massifs de zones ne doivent surtout pas se gérer avec un htaccess. Ce qui implique que quand le souci deviens crucial il faut passer sur un dédié pour avoir accès au firewall et d'autres solutions qui ne sont pas possibles sur une solution mutu.

Le truc que les webmaster a la petite semaine on tendance a oublier (normal ce ne sont pas des codeurs système) c'est que htaccess est une solution a utiliser si :
* on a pas accès a d'autre moyens comme le fichier de config apache.
* on a pas accès aux moyens techniques dédiés comme les règles de routage don tu parle.
* on a affaire a un CMS de m*rd* (comme dans beaucoup de cas) ou le SEO impose qu'on contrecarre les faiblesses de conception.

Le truc qu'on oublie vite avec htaccess (surtout à la racine "www") c'est que l'ensemble des règles font souvent appel a des expressions régulières (c'est très lourd même si c'est très souple et pratique) mais surtout que c'est sollicité pour chaque requête donc 50 fois dans une page qui comprend 50 ressources ! .... Donc c'est pratique oui, facile surement mais énormément couteux en ressources.

forty · 23 Décembre 2014

baud74 a dit:
du referer spam, c'est courant depuis longtemps, par contre, je ne savais pas que maintenant, ils exécutaient aussi le javascript de GA pour y apparaitre.

Il ne passent surement pas par JS. En php c'est pas compliqué.

ioni · 23 Décembre 2014

maison-des-rochers a dit:
Aujourd'hui, un nouveau econom.co, basé en russie également, 17 visites en 1 journée !

Bonjour,

Moi aussi, pour les fêtes de fin d'année, j'ai droit à plusieurs visites depuis econom.co. Et ses petits compagnons iloveitaly.com, etc.

Pour m'en débarrasser, sur les bons conseils de mon agence SEO, je viens de charger, à la racine de mon site, un fichier .txt avec une ligne par lien "non désiré" du genre domain:econom.co.

ybet · 23 Décembre 2014

ioni a dit:
Pour m'en débarrasser, sur les bons conseils de mon agence SEO, je viens de charger, à la racine de mon site, un fichier .txt avec une ligne par lien "non désiré" du genre domain:econom.co.

Si c'est le fichier robot.txt, te rappelle que il doit obligatoirement être lu par le robot ... (et seul les bons le font: c'est comme cela qu'on repère les autres).

zeb · 23 Décembre 2014

ioni a dit:
sur les bons conseils de mon agence SEO, je viens de charger, à la racine de mon site, un fichier .txt avec une ligne par lien "non désiré" du genre domain:econom.co.

Si tu parle d'un fichier de désaveux de lien ton agence est une grosse b0use car le referer spam n'est pas basé sur la présence de lien :roll:
Si tu parle de robots.txt c'est pareil car comme le souligne Ybet, c'est p1sser dans un violon vu que ce genre de site ne lisent pas le robots.txt et même si il le lisait pour passer sous le radar il n'en ont rien a faire.

ioni · 23 Décembre 2014

je les congédie sur le champ. c'est dommage parce qu'ils avaient obtenu de très bons résultats pour mes clients.

peut-être ai-je mal exprimé mon besoin ?

les liens n'apparaissent pas dans GWT. très récents, donc j'imagine que c'est encore trop tôt.

hibou57 · 23 Décembre 2014

zeb a dit:
Les gars pour iptable je ne dis rien, mais pour ce qui est du htaccess vous avez déjà fait des mesures de performance avec et sans ces X000 lignes :wink: Car là tel que, il vous faut un boing 747 pour transporter un plateau repas de la cuisine au salon ....

Le mien fait 3654 lignes. Je ne bloque pas à priori, je bloque au fur et à mesure que je rencontre des problèmes ou des choses louches.

Comment tu sais que le htaccess peut être à l’origine de problèmes de performances ? Tu en connais la mesure ? Quels ordres de grandeurs de temps pour une requête ?

De toutes manières, avec les mutualisés, il n’y a pas d’autres options, ou alors j’en suis ignorant.

baud74 · 23 Décembre 2014

il suffit d'enlever temporairement ces lignes, demander des pages et noter le temps de génération, remettre les lignes et redemander les mêmes pages pour voir l'éventuelle différence.
en ajoutant ip par ip, au fur et à mesure, on obtient plus de lignes que si l'on bloque une plage entière.

zeb · 23 Décembre 2014

baud74 a dit:
il suffit d'enlever temporairement ces lignes, demander des pages et noter le temps de génération,

Non tu n'aura aucune variation du temps de génération car le htaccess est traité en amont de tout traitement php par apache donc un "difftime" classique ne donne aucune différence.

hibou57 a dit:
Comment tu sais que le htaccess peut être à l’origine de problèmes de performances ?

Car je faisait comme toi et j'empilais donc je ne sentais pas la différence et un jour j'ai viré pour voir et j'ai senti le site plus nerveux ça c'est confirmé dans GWT

hibou57 a dit:
Tu en connais la mesure ? Quels ordres de grandeurs de temps pour une requête ?

Pour une requête c'est a priori "insignifiant" mais pour une page qui en comprend 20/40 voir plus ça commence a chiffrer. A titre indicatif l'affaissement de la courbe GWT (sur une période mesurable) est de l'ordre de moins de 100ms sur l'ensemble. Mais bon 100ms sur des pages qui sont fournies entre 1s et 500 ms c'est pas rien.

hibou57 a dit:
De toutes manières, avec les mutualisés, il n’y a pas d’autres options, ou alors j’en suis ignorant.

En effet je vois pas autre chose si tu peux pas bidouiller avec un firewal / proxy ou équivalent en revanche il faudrait tester un étagement du filtrage (j'ai pas encore testé mais je vais m'y pencher) .... savoir bloquer les urls php dans un dossier et pas forcement bloquer les média, JS , CSS ce qui aurait le mérite de ne pas appliquer les règles de filtrage dans pas mal de cas.

Une autre soluce pourrait être de faire évoluer dynamiquement le htaccess pour endosser des charges temporairement et pas définitivement sous certaines conditions identifiées (genre id de session qui change avec une ip inchangée typique d'un bot).