[INFO] fail2ban vs crawler: attention ban
3 messages
• Page 1 sur 1
Consultez la formation à Google Analytics de WebRankInfo / Ranking Metrics
- pouloupoupo
- WRInaute discret

- Messages: 148
- Inscription: 13 Avr 2008
[INFO] fail2ban vs crawler: attention ban
Salut à tous
Je poste ici à titre info.
J'ai repris un vieux site internet qui avait été modifié
Les précédents dev n'ont pas fait de réécriture d'url et donc quand les crawler viennent revisiter les liens connus ils se font bannir par le script [apache-noscript] de fail2ban.
Googlebot peut aussi se voir bannir quand il teste les 404.Je ne sais pas si les autres bots le font?
Seule solution que je vois: rajouter les ip des robots
Ou désactiver ce script momentanément
C'est un cas particulier mais ça peut éviter des sacrés ennuis à certains
++
Je poste ici à titre info.
J'ai repris un vieux site internet qui avait été modifié
Les précédents dev n'ont pas fait de réécriture d'url et donc quand les crawler viennent revisiter les liens connus ils se font bannir par le script [apache-noscript] de fail2ban.
Googlebot peut aussi se voir bannir quand il teste les 404.Je ne sais pas si les autres bots le font?
Seule solution que je vois: rajouter les ip des robots
- Code: Tout sélectionner
ignoreip = 127.0.0.1 66.249.66.169
Ou désactiver ce script momentanément
C'est un cas particulier mais ça peut éviter des sacrés ennuis à certains
++
-

Julia41 - WRInaute passionné

- Messages: 1765
- Inscription: 31 Aoû 2007
Re: [INFO] fail2ban vs crawler: attention ban
La meilleure solution reste d'avoir un site mieux codé ou alors de désactiver ce script.
Si tu as une page qui fait 10 erreurs 404 (par exemple) d'un coup, tu bannies du coup tous tes utilisateurs.
Si tu as une page qui fait 10 erreurs 404 (par exemple) d'un coup, tu bannies du coup tous tes utilisateurs.
- ZelkiN
- WRInaute impliqué

- Messages: 500
- Inscription: 27 Juil 2007
Re: [INFO] fail2ban vs crawler: attention ban
Un bon vieux site maison avec une bonne programmation rien de mieux pour éviter ce genre de mésaventure, c'est vrai que repasser derniere quelqu'un qui plus ai tu as a l'air de dire que c'est un vieux site c'est pas le top, merci quand meme 
3 messages
• Page 1 sur 1
Formation recommandée sur ce thème :
Formation Google Analytics : en 2 jours, apprenez comment exploiter l'essentiel des possibilités de l'outil de mesure d'audience de Google. Formation animée par les experts Google Analytics de Ranking Metrics.
Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.
Lectures recommandées sur ce thème :
Consultez la description détaillée des produits ou services de Google suivants : Google Alternate Views
Qui est en ligne
Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 1 invité
