une rubrique robots ?

[fupap]

une rubrique sur les robots: liste des noms, ip, a quel site ils correspondent,pour qui il indexent, leur frequence, leurs utilites, leurs importances ,etc .......dans la faq ou sur le forum
on trouve des renseignements a droite a gauche, souvent en anglais
pour ceux qui ne sont pas familier ca permet de centraliser ce sujet
et puis par la meme occasion, un petit lexique d'interpretation de logs ce qu'il faut voir dedans, comment, traceur de route....
voila je pense que ca peut aider (en plus de moi evidemment

[cariboo]

Cela me parait être une très bonne idée !

C'est vrai qu'il y'a régulièrement des questions du type "c'est quoi ce truc ?", et cela éviterait de redire dix fois la même chose...

Et avec le succès (assuré) de Googlestats, je suis sûr que les questions sur les robots et leurs visites vont se multiplier...

[WebRankInfo]

ça fait partie de mes projets depuis quelques mois
mais je n'ai pas encore eu le temps de le finaliser...
si vous avez d'autres précisions sur ce que vous cherchez à avoir comme informations ou services, allez-y, je note tout !

[Monique]

Bonjour,

Je viens de trouver ce site (avec un beau PR9 ) http://www.robotstxt.org/wc/robots.html
Je n'ai pas encore pris le temps de le parcourir, mais il semble intéressant.

[fupap]

j'avais deja en favoris, mais c'est en anglais

[Dams]

Cesite est Extra.. Il y a tous ce qu'il faut savoir sur les robots.txt ainsi qu'une liste (+ qu'exaustive) de tous les agents...

http://www.robotstxt.org/wc/active/html/index.html

Bien evidement à bookmarker...

[Jocelyn]

Oui, ce site est considéré comme la référence concernant les robots Web.
Et un grand nombre de pages décrivant les spécifications techniques d'un robot particulier conseillent de faire un tour sur ce site (et mettent un lien).
En particulier vers la page "The Robots Exclusion Protocol".

Un regret : les informations concernant les robots actifs ne sont pas souvent à jour. Même pas pour les moteurs de recherche les plus importants.

Jocelyn

[fupap]

autre liste de spiders
http://www.siteware.ch/webresources/use ... spiders/#m
http://www.pgts.com.au/download/data/robots_list.txt
http://www.pgts.com.au/pgtsj/pgtsj0208d.html

[WebRankInfo]

j'ai commencé une nouvelle rubrique Robots ici : http://www.webrankinfo.com/robots/
la suite viendra dès que possible
continuez de m'indiquer ce que vous souhaiteriez voir ajouté (informations, outils, etc.)

[fupap]

un peu comme j'ai dit dans le post #1
un tableau avec par exemple
nom, utilisateur, ip, frequence de passage, ref site, utilite,


[utilite: une cote de 1 a 5 jugeant de l'utilite d'un tel robot (a bloquer ou a laisser passer)]

un chapitre forum permettant aux membres de demander aux autres les renseignements sur un robot non repertorie et permettant aussi de mettre a jour la liste

un petit lexique de ce que l'on peut trouver dans les logs pour ceux qui n'ont pas l'habitude ou qui viennent de passer sur un hebergeur payant et decouvrant les logs pour la premiere fois
une petite methode d'interpretation de logs
-comment savoir combien de pages le robot a indexe
-si on a bien a faire a un robot
- le robots texte (interdire ou autoriser) j'ai vu que c'etait fait
.....

[WebRankInfo]

qu'appelles-tu utilisateur ?
sinon merci pour tes précisions... tout ça est en construction !

[fupap]

utilisateur= annuaire ou moteur utilisant ce robot
pour google, il porte le meme nom googlebot ca va
mais d'autres
pompos=dir com
slurp=inktomi
scooter=alta.....
il doit certainement y avoir d'autres renseignements utiles, mais je decouvre les logs depuis peu

[fupap]

http://www.psychedelix.com/agents.html

liste de spider robots etc...
avec des liens correspondant
ca a l'air assez complet