Bannir les crawls de particulier...

[Nivek]

Bonjour,

Depuis quelques jours une page particuliere de mon site est crawlé toute les 6 secondes par un energumene sans gene !!!!

Je me doutais que cela arriverai mais pas si vite... Comment puis-je me protéger ?

Dois-je Bannir l'adresse IP ?
Y'a t'il des scripts qui empechent les crawls trop nombreux et trop souvent d'une page par la meme ip ?

Merci

[Ohax]

elle à quoi de particulier cette page ?

[Nivek]

Cette page offre des code allopass...

Tous a l'heure je demandé si je devais bannir l'ip..

Mais je ne sais pas comment on fait.
Comment puis-je m'y prendre ?

[jensaisrien]

Comme je disais dans un autre topic, j'ai des grosses lacunes sur certains points. En voici un autre!

Comment as-tu fait pour voir que quelqu'un crawlé ta page toutes les 6 secondes?



JEnsaisrien

[tawath]

Bonjour
Le module IPban de php-nuke le fait!
Le risque c'est de bloquer un pan entier de l'internet...
Mais si c'est une ip fixe,il faut chercher a qui elle correspond
a quel robot!Ensuite dans le robot.txt de ton site il faut l'interdire!

#robot.txt
User-agent: Mediapartners-Google,[liste des robots autorisés]
Disallow: nom_du_robot qui saoule (je suis pas sur pour ca) ou ta page qui est trop crawlé

dans les meta robots de la page au niveau de la fréquence de crawl aussi
<META NAME="ROBOTS" CONTENT="ALL">
<META NAME="REVISIT-AFTER" CONTENT="1 DAYS">
<META NAME="RATING" CONTENT="GENERAL">

voilà un début

[TOMHTML]

si c'est une IP fixe t'as du bol, tu peux bloquer la page en question pour cette IP ou bloquer tout le site, c'est pas grave (via htaccess)

par contre si c'est pas fixe... je vois pas là

[Nivek]

Comment as-tu fait pour voir que quelqu'un crawlé ta page toutes les 6 secondes?

Avec les logs...

si c'est une IP fixe t'as du bol, tu peux bloquer la page en question pour cette IP ou bloquer tout le site, c'est pas grave (via htaccess)

par contre si c'est pas fixe... je vois pas là

Oui c'est une IP fixe... J'y connais pas grand chose en Htaccess.
Quelqu'un peut me donner un exemple ?

[tawath]

Tu peux essayer ca dans ton .htaccess

coller dans le bloc note enregistrer sous htaccess.txt puis renommer sur le ftp en .htaccess

Code: Tout sélectionner

#remplacer les zeros par l'ip à bannir
RewriteEngine On
RewriteCond %{REMOTE_ADDR}  000\.000\.000\.000
RewriteRule .*   -   [F]

[Nivek]

ça marche tres bien, Merci tawath