interdire l'accès aux "mauvais" robots

[WebRankInfo]

on en a déjà parlé sur ce forum, mais je pense que l'adresse http://www.leekillough.com/robots.html devrait vous intéresser...

(l'intérêt est d'économiser de la bande passante ou des hits)

[Kmacleod]

Interessant à lire, d'autant que almaden.ibm ferait parti des spiders violant le robot.txt.

Ce serai une réponse à une de tes question précédentes sur ce robot.

[Filou]

Qu'entendez-vous précisement par "mauvais robots".

Je ne vois pas ce qu'il pourrait faire de mal à un site ?

[Kmacleod]

Un mauvais robot ou bad bot est un robot qui par exemple passe outre les regles que tu peux disposer dans le fichier robot.txt et qui indexe toutes les pages de ton site à une vitesse maxi. Le serveur chez qui tu es hebergé risque de ne pas parrécier une telle charge ...Les statistiques en nombre de hits sur le serveur ou en kilo octets téléchargés non plus.

[Mirgolth]

Qu'entendez-vous précisement par "mauvais robots".

Je ne vois pas ce qu'il pourrait faire de mal à un site ?

Dans le genre robots que je bloque il y a aussi les vilains aspirateurs d'email qui hantent le web à la recherche d'adresse fraîches pour les spammer...

Mirgolth