[INFO] fail2ban vs crawler: attention ban

Consultez la formation à Google Analytics de WebRankInfo / Ranking Metrics

pouloupoupo
WRInaute discret
WRInaute discret
 
Messages: 148
Inscription: 13 Avr 2008

[INFO] fail2ban vs crawler: attention ban

Message le Lun Jan 03, 2011 22:47

Salut à tous
Je poste ici à titre info.
J'ai repris un vieux site internet qui avait été modifié
Les précédents dev n'ont pas fait de réécriture d'url et donc quand les crawler viennent revisiter les liens connus ils se font bannir par le script [apache-noscript] de fail2ban.
Googlebot peut aussi se voir bannir quand il teste les 404.Je ne sais pas si les autres bots le font?
Seule solution que je vois: rajouter les ip des robots
Code: Tout sélectionner
ignoreip = 127.0.0.1 66.249.66.169

Ou désactiver ce script momentanément

C'est un cas particulier mais ça peut éviter des sacrés ennuis à certains

++


Julia41
WRInaute passionné
WRInaute passionné
 
Messages: 1765
Inscription: 31 Aoû 2007

Re: [INFO] fail2ban vs crawler: attention ban

Message le Mar Jan 04, 2011 3:10

La meilleure solution reste d'avoir un site mieux codé ou alors de désactiver ce script.
Si tu as une page qui fait 10 erreurs 404 (par exemple) d'un coup, tu bannies du coup tous tes utilisateurs.

ZelkiN
WRInaute impliqué
WRInaute impliqué
 
Messages: 500
Inscription: 27 Juil 2007

Re: [INFO] fail2ban vs crawler: attention ban

Message le Mar Jan 04, 2011 10:22

Un bon vieux site maison avec une bonne programmation rien de mieux pour éviter ce genre de mésaventure, c'est vrai que repasser derniere quelqu'un qui plus ai tu as a l'air de dire que c'est un vieux site c'est pas le top, merci quand meme ;)


Si vous avez aimé cette discussion, partagez-la sur vos réseaux sociaux préférés :

Formation recommandée sur ce thème :

Formation Google Analytics : en 2 jours, apprenez comment exploiter l'essentiel des possibilités de l'outil de mesure d'audience de Google. Formation animée par les experts Google Analytics de Ranking Metrics.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :



Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 1 invité