Bannir les crawls de particulier

WRInaute occasionnel
Bonjour,

Depuis quelques jours une page particuliere de mon site est crawlé toute les 6 secondes par un energumene sans gene !!!!

Je me doutais que cela arriverai mais pas si vite... Comment puis-je me protéger ?

Dois-je Bannir l'adresse IP ?
Y'a t'il des scripts qui empechent les crawls trop nombreux et trop souvent d'une page par la meme ip ?

Merci
 
WRInaute occasionnel
Cette page offre des code allopass...

Tous a l'heure je demandé si je devais bannir l'ip..

Mais je ne sais pas comment on fait.
Comment puis-je m'y prendre ?
 
WRInaute impliqué
Comme je disais dans un autre topic, j'ai des grosses lacunes sur certains points. En voici un autre!

Comment as-tu fait pour voir que quelqu'un crawlé ta page toutes les 6 secondes?

:?:

JEnsaisrien
 
WRInaute occasionnel
Bonjour
Le module IPban de php-nuke le fait!
Le risque c'est de bloquer un pan entier de l'internet...
Mais si c'est une ip fixe,il faut chercher a qui elle correspond
a quel robot!Ensuite dans le robot.txt de ton site il faut l'interdire!

#robot.txt
User-agent: Mediapartners-Google,[liste des robots autorisés]
Disallow: nom_du_robot qui saoule (je suis pas sur pour ca) ou ta page qui est trop crawlé

dans les meta robots de la page au niveau de la fréquence de crawl aussi
<META NAME="ROBOTS" CONTENT="ALL">
<META NAME="REVISIT-AFTER" CONTENT="1 DAYS">
<META NAME="RATING" CONTENT="GENERAL">

voilà un début
 
WRInaute accro
si c'est une IP fixe t'as du bol, tu peux bloquer la page en question pour cette IP ou bloquer tout le site, c'est pas grave (via htaccess)

par contre si c'est pas fixe... je vois pas là :(
 
WRInaute occasionnel
jensaisrien a dit:
Comment as-tu fait pour voir que quelqu'un crawlé ta page toutes les 6 secondes?

Avec les logs...



TOMHTML a dit:
si c'est une IP fixe t'as du bol, tu peux bloquer la page en question pour cette IP ou bloquer tout le site, c'est pas grave (via htaccess)

par contre si c'est pas fixe... je vois pas là :(

Oui c'est une IP fixe... J'y connais pas grand chose en Htaccess.
Quelqu'un peut me donner un exemple ?
 
WRInaute occasionnel
Tu peux essayer ca dans ton .htaccess

coller dans le bloc note enregistrer sous htaccess.txt puis renommer sur le ftp en .htaccess
Code:
#remplacer les zeros par l'ip à bannir
RewriteEngine On
RewriteCond %{REMOTE_ADDR}  000\.000\.000\.000 
RewriteRule .*   -   [F]
 
Discussions similaires
Haut