[Robots] Tests , detection , indexation.

[Ron56]

Bonsoir a tous ,

Je post pour savoir si des Wrinautes sont intéréssé pour faire des tests sur les robots , test des séparateurs d'url , comment ameliorer la detection , et pourquoi pas a long terme fournir un systeme de stats le plus fiable possible pour les webmasters !

Si il y a des intéréssé , qui on des idées , vous n'avez qu'as poster ou m'ajouter sur MSN.

J'ai déja creer un petit site , qui n'est qu'une ebauche

-http://bot-farm.freezee.org/[/url]

Alors ce site detecte les robots qui viennent sur le site selon des ip partielles comme :

66.249
64.233
64.68
63.83
216.239
216.33
210.131

Car la plupart des ip on un début commun, ce qui permet de detecter un nombre important de robot, ce qui assure un bon rapport fiabilité/quantité .

Cette ébauche est d'ores et déja doté d'un backoffice qui permet :

-- d'ajouter des ip en masse, il suffit d'ajouter un liste d'ip , cela traite l'ip et dédoublonne la base, donc un minimun de travail :p :

Capture :
http://bot-farm.freezee.org/WRI/1.JPG


--Supprimer une ip de la base de données :

Capture :
http://bot-farm.freezee.org/WRI/2.JPG


--Supprimer un enregistrement de bot :

Capture :
http://bot-farm.freezee.org/WRI/2.JPG

Les futures ameliorations qui me viennent a l'idée :

- Vrai domaine , et hebergement pro ( je veux pas squatter trop freezee :p)
- Reduire le nombre de page, en utilisant des variables dans l'url
- Trouver un vrai nom ( google farm c'est en hommage au post pieger un ggbot ^^)


Je croit que j'ai fait le tour !

Ronan


Je n'est pas mis d'adsense car mon but n'est pas de généré des revenus , mais comme il a été prouvé que le bot adsense index aussi les pages , il sera eventuelement necessaire d'en mettre !