robots.txt exclure tous les spiders sauf les plus gros

[ricoftb]

Comment ecrire un robots.txt qui exclure tous les spiders sauf les plus gros google, adsense, yahoo, msn, exalead, technorati ?

j'ai vu cette procedure expliquée dans http://www.webrankinfo.com/forums/viewtopic_4942.htm, mais ca me parait bizarre d'utiliser .htaccess

C'est vrai que j'ai toujours autorisé les robots à visiter mes sites, mais la le serveur est un peu faible et ils me font travailler le CPU au détriment des utilisateurs...

Il faudrait utiliser

User-Agent: nomDuRobot
Disallow :

pour les robots que j'ai cité, et sans doute d'autres pas trop "nuisible"

[padawan2]

Le fichier robots.txt n'est qu'une indication.
Il n'empêche l'accès qu'aux robots qui respectent ces règles.

Si tu veux vraiment empêcher certains robots d'accéder à ton site il te faut un fichier htaccess.