.htaccess bloquer des bots..
4 messages • Page 1 sur 1
Consultez la formation URL Rewriting et sites dynamiques de WebRankInfo / Ranking Metrics
.htaccess bloquer des bots..
Bonjour,
J'ai fais un .htaccess qui me permet de bloquer la plupart des bots mais je souhaiterai bloquer le bot identifié par awstats par Java"often spam bot"
Ce bot "Java" est t'il un bot de spam réel ?
Comment le bloquer ?
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ??????
RewriteRule ^.*$ http://www.aaaaaaaaa.fr [R,L]
Cordialement
J'ai fais un .htaccess qui me permet de bloquer la plupart des bots mais je souhaiterai bloquer le bot identifié par awstats par Java"often spam bot"
Ce bot "Java" est t'il un bot de spam réel ?
Comment le bloquer ?
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ??????
RewriteRule ^.*$ http://www.aaaaaaaaa.fr [R,L]
Cordialement
Il y a quelques exemples de user-agents Java ici: bots Java.
Ce n'est pas en soi, un robot de spam, mais comme c'est le user-agent par défaut pour des développements en Java, il est souvent utiliser par des bricoleurs-spammeurs.
Jean-Luc
Ce n'est pas en soi, un robot de spam, mais comme c'est le user-agent par défaut pour des développements en Java, il est souvent utiliser par des bricoleurs-spammeurs.
- Code: Tout sélectionner
RewriteCond %{HTTP_USER_AGENT} ^Java\/
Jean-Luc
Risques
Okay, il y'a t'il des risques a bloquer ce bot ?
C'est celui qui bouffe le plus de bande passante après google et yahoo (ces stats sont celles de aout donc 3 jours comptés)
Yahoo Slurp 291+15 4.90 Mo 04 Aoû 2008 - 01:08
Googlebot 239+4 4.08 Mo 04 Aoû 2008 - 00:36
Java (Often spam bot) 188 3.13 Mo 03 Aoû 2008 - 21:10
MSNBot-media 60+7 1.36 Mo 03 Aoû 2008 - 15:06
Alexa (IA Archiver) 33+3 260.60 Ko 03 Aoû 2008 - 20:27
InternetSeer 28 0 04 Aoû 2008 - 00:27
MSNBot 12+10 191.50 Ko 03 Aoû 2008 - 17:08
DoCoMo 19+1 331.53 Ko 02 Aoû 2008 - 06:58
W3C Validator 12 236.39 Ko 03 Aoû 2008 - 18:06
Unknown robot (identified by 'crawl') 7+5 134.72 Ko 04 Aoû 2008 - 00:20
Unknown robot (identified by hit on 'robots.txt') 0+10 410 Octets 02 Aoû 2008 - 21:01
Unknown robot (identified by 'spider') 8+2 141.78 Ko 03 Aoû 2008 - 18:10
GigaBot 5+5 90.21 Ko 03 Aoû 2008 - 11:16
Google AdSense 4 51.19 Ko 02 Aoû 2008 - 19:01
Powermarks 2 44.42 Ko 03 Aoû 2008 - 14:54
The web archive (IA Archiver) 0+2 82 Octets 01 Aoû 2008 - 16:52
Python-urllib 1 18.05 Ko 03 Aoû 2008 - 18:03
Unknown robot (identified by 'bot/' or 'bot-') 0+1 41 Octets 02 Aoû 2008 - 16:40
MSIECrawler 0+1 41 Octets 03 Aoû 2008 - 15:00
Cordialement
C'est celui qui bouffe le plus de bande passante après google et yahoo (ces stats sont celles de aout donc 3 jours comptés)
Yahoo Slurp 291+15 4.90 Mo 04 Aoû 2008 - 01:08
Googlebot 239+4 4.08 Mo 04 Aoû 2008 - 00:36
Java (Often spam bot) 188 3.13 Mo 03 Aoû 2008 - 21:10
MSNBot-media 60+7 1.36 Mo 03 Aoû 2008 - 15:06
Alexa (IA Archiver) 33+3 260.60 Ko 03 Aoû 2008 - 20:27
InternetSeer 28 0 04 Aoû 2008 - 00:27
MSNBot 12+10 191.50 Ko 03 Aoû 2008 - 17:08
DoCoMo 19+1 331.53 Ko 02 Aoû 2008 - 06:58
W3C Validator 12 236.39 Ko 03 Aoû 2008 - 18:06
Unknown robot (identified by 'crawl') 7+5 134.72 Ko 04 Aoû 2008 - 00:20
Unknown robot (identified by hit on 'robots.txt') 0+10 410 Octets 02 Aoû 2008 - 21:01
Unknown robot (identified by 'spider') 8+2 141.78 Ko 03 Aoû 2008 - 18:10
GigaBot 5+5 90.21 Ko 03 Aoû 2008 - 11:16
Google AdSense 4 51.19 Ko 02 Aoû 2008 - 19:01
Powermarks 2 44.42 Ko 03 Aoû 2008 - 14:54
The web archive (IA Archiver) 0+2 82 Octets 01 Aoû 2008 - 16:52
Python-urllib 1 18.05 Ko 03 Aoû 2008 - 18:03
Unknown robot (identified by 'bot/' or 'bot-') 0+1 41 Octets 02 Aoû 2008 - 16:40
MSIECrawler 0+1 41 Octets 03 Aoû 2008 - 15:00
Cordialement
4 messages • Page 1 sur 1
Formation recommandée sur ce thème :
Formation URL Rewriting et sites dynamiques : apprenez comment mettre en place la réécriture d'URL, comment optimiser vos URL et profiter de vos pages dynamiques pour booster votre référencement. Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.
Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.
Lectures recommandées sur ce thème :
- Article sur le fichier .htaccess
- Suite de l'article sur le fichier .htaccess : l'URL rewriting
- Comment éviter les contenus dupliqués (avec/sans le www)
- 3ème partie de l'article .htaccess : les réécritures conditionnelles
- Google propose en option un lien pour supprimer un site des résultats
- Aperçu des différents types de redirection
- Comment contrôler ses Sitelinks Google
- L'URL Rewriting expliqué aux débutants
- X-Robots-Tag : directive pour bloquer les robots dans l'entête HTTP : explications
- Découpage du forum webmaster en 2 forums
- htaccess : bloquer un domaine ( ex : un autovisiteur )
- bloquer ip pays avec htaccess
- Bloquer dossier par .htaccess
- Bloquer un referer méthode htaccess
- Bloquer un ensemble d'IP par htaccess ?
- [ .HTACCESS ] Bloquer Google Web Accelerator ?
- Bloquer les images d'un répertoire par htaccess
- bots
- Bots et formulaires
- Bots Google
- Rewritting et bots
- Nouveaux Bots
- 100 bots Yahoo
- Détection des bots
- Liste des bots
Qui est en ligne
Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités




le forum