Script php Anti aspirateur.

[Eservice]

Bonsoir, une autre solution pour réduire au maximum le nombre de hits des aspirateurs, moins efficace que le script de renardrouge mais quand même valable : proposer le téléchargement de son site dans un fichier compressé ( 1 seul hit )

[BDGest]

Le script de RenardRouge est idéal je pense d'autant plus on peut trés facilement le coupler avec celui de googlestats pour eviter qu'il bloque les "bons" robots en utilisant la table gs_robots par exemple.

[Kmacleod]

BDgest, si tu as fait l'integration de GS et du SAA (Script Anti Aspi), je suis preneur.
Peut-être qu'olivier aussi dans une fonctionnalité de GS qui soit de tracer plusieurs robots comme d'en limiter l'acces
(en considérant qu'un aspirateur est une derivée d'un robot, dans son comportement et effet, pas dans sa fonctionnalité d'origine differente).

[BDGest]

Pour l'instant j'ai juste ajouté en dur les IPs des robots que je veux laisser passer (les principaux quoi). C'est pour être sur de ne pas blacklister google par exemple

[nono34]

Bonjour,

Moi je voit ca du coté hebergeur personnellement, et voila le script que j'ai ajouter dans mon httpd.conf

Code: Tout sélectionner


# Robots known or highly suspected of collecting email addresses for spam
RewriteCond %{HTTP_USER_AGENT} ^(autoemailspider|Bullseye|CherryPicker|Crescent|ecollector|EmailCollector|EmailSiphon|EmailWolf|ExtractorPro|fastlwspider|.*LWP|Digger|Microsoft.URL|Mozilla/3.Mozilla/2.01|Mozilla.*NEWT|NICErsPRO|SurfWalker|Telesoft|WebBandit|WebEMailExtrac|Zeus.*Webster) [NC,OR]

# Robots (sometimes called spiders) which regularly violate robots.txt
RewriteCond %{HTTP_USER_AGENT} ^(ADSARobot|.*almaden\.ibm|ASSORT|big.brother|bumblebee|Digimarc|FavOrg|FAST|.*fluffy|.*Girafabot|HomePageSearch|IncyWincy|NPBot|Openfind|OpenTextSiteCrawler|OrangeBot|Robozilla|ScoutAbout|.*searchhippo|searchterms\.it|sitecheck|UIowaCrawler|.*webcraft@bea\.com|WEBMASTERS|WhosTalking|WISEbot|Yandex) [NC,OR]

# Agents used for both good and bad purposes, such as sucking up bandwidth
# by downloading entire sites, or probing servers for security exploits.
RewriteCond %{HTTP_USER_AGENT} ^(ASPSeek|Deweb|Fetch|FlashGet|Teleport|TeleportPro|Getleft|GetURL|GetWebPage|.*HTTrack|KWebGet|libwww-perl|Mirror|NetAnts|NetCarta|netprospector|Net.Vampire|pavuk|PSurf|PushSite|reget|Rsync|Shai|SpiderBot|SuperBot|tarspider|Templeton|w3mir|web.by.mail|WebCopier|WebCopy|WebMiner|WebReaper|WebSnake|WebStripper|webvac|webwalk|WebZIP|Wget|XGET) [NC,OR]

# Miscellaneous (suspicious -- more information would be appreciated)
RewriteCond %{HTTP_USER_AGENT} ^(ah-ha|aktuelles|ATHENS|attache|bew|disco|.*DTS.Agent|Favorites.Sweeper|FEZhead|GetRight|go-ahead-got-it|.*Harvest|IBM_Planetwide|leech|MCspider|NetResearchServer|nost\.info|OpaL|PackRat|RepoMonkey|.*Rover|Spegla|SqWorm|.*TrueRobot|UtilMind|vspider|.*WUMPUS) [NC,OR]


# A host which tries to hide itself in reverse DNS lookup
RewriteCond %{REMOTE_HOST} ^private$                               [NC,OR]

# Web surveying sites (may require using ipchains)
RewriteCond %{HTTP_REFERER} (traffixer|netfactual|netcraft)\.com   [NC,OR]
RewriteCond %{REMOTE_HOST} \.netcraft\.com$                        [NC,OR]

# A fake referrer that's often used -- use this unless your pages are related
# in some way to atomic energy and could really be linked to from www.iaea.org
RewriteCond %{HTTP_REFERER} ^[^?]*iaea\.org                        [NC,OR]

# A fake referrer that's used in conjuncting with formmail exploits
RewriteCond %{HTTP_REFERER} ^[^?]*\.ideography\.co\.uk             [NC]

# The rule which blocks out further access from the host
RewriteRule .* - [F,L]



C'est sur ca n'arrete QUE les aspirateurs de sites qui ne triche pas sur leur USERS AGENTS. Mais pour l'instant ca marche plutot pas mal.
Normalement on doit pouvoir incorporé cela dans le .htaccess
A vérifié.
Autre chose, il y a aussi le module apache mod_throttle pour limiter la bande passante consommé par IP.

Car à vrai dire les seuls qui consomme de la bande passante anormalement ce sont les aspirateur de site.

Mais j'ai peur de bloquer google et les autres moteurs de recherche avec ca...... genre limité 15 Mb par IP par jour....


Bruno
Administrateur systeme de
http://www.hebergementx-gratuit.com

[Kmacleod]

Il y a arreter et arreter

Au debut j'essayer d'arreter les aspis avec mon .htaccess
Celà n'empeche pas un aspis de faire 1.500 hits sur le serveur et c'est là ma problèmatique au delà de la BP
Le script de renad rouge est radical, je laisse rentre au niveau du .htaccess et si il y a exces de vitesse, dehors.
Et j'ai droit à un IP bannie par jour

[charly99]

Salut à tous,

J'ai moi aussi depuis peu qqs aspirateurs pas trés sympa qui parcourent les pages de mon site en y aspirant tout ce qui s'y trouve... Ca me bouffe pas mal de bande passante. C'est pourquoi je suis interessé par tes scripts pour bloquer ces aspirateurs de malheur...

[thewiseoldman]

Je suis interessé par ce script car les .htacess avec rewritecond soit bloquent des visiteurs qu'ils ne devraient pas soit laissent passer des aspi camouflés

[Andy hubert]

peux tu me l'envoyer, je suis interréssé pour ejecter les aspirateurs et les piqueurs d'adresses.

Merci
Andy
PS Au fait je sais pas comment tu récupére mon adresse ?
thk

[WebRankInfo]

PS Au fait je sais pas comment tu récupére mon adresse ?
thk

L'adresse email est visible dans le profil de chaque mmebre du forum

[Maleville]

Hello les webmasters,

J'ai un petit script php anti aspirateur pour ceux que ca interessent éventuellement:

Bonjour.
Le code m'intéresse. Où puis-je le trouver ?
@micalement

[Eservice]

Bonjour,
Comme le suggère WRI, accède au profil de RenardRouge à partir d'un de ces messages et envoie-lui un mail

[Renardrouge]

Url du script en post 1 pour éviter les mp.

Merci de votre interêt dans cette lutte perpetuelle contre ces bêtes là.

[Renardrouge]

On me rapporte que Kapere serait passé au travers.

Quelqu'un aurait-il Kapere pour un test ? (sur l'url de mon site quand vous le souhaitez)

[Kmacleod]

Oui j'ai kapere ... dans mon filet
Passé à 23h15 aussitot mis dehors, tu veux son IP ?