Un robot, comment ca marche

[Jeremy Chauvel]

Bonjour,
je voudrais quelques precisions sur ce qu'est physiquement un robot d'indexation, comment il index.

je suppose que c'est un serveur qui lit le code html des pages sur les serveurs web, mais ca reste flou je dois bien avouer.

désolé d'etre un peu lent, masi a chaque fois que je lit des defs, c'est "un robot ne trouvera pas ta page si tu ne fait pas ...." enfin toujours tres imagé

Quel est le flux "consommé" pour scruter sans interuption la toile, n'y a t il pas une autorisation a donner quelque par pour ca ?

enfin, je suis dans le flou quoi

merci pour vos réponses
jeremy
PS: toute réponses technique est la bienvenue

[Szarah]

Il y a quelques concepteurs de robots sur WRI, tu ne devrais pas tarder à trouver des réponses.
Ma minuscule contribution pour te faire patienter en attendant les Technos : fondamentalement, le robot utilise la technique du worming : il suit les liens.

[Monty973]

Je te recommande ces deux excellentes lectures :

Indexation dans les moteurs de recherche, méthodes traditionnelles

Les techniques évoluées d’indexation dans les moteurs de recherche

[Jeremy Chauvel]

merci pour la doc, lecture captivante.
j'ai une question en revanche.
il n'est pas mentionné les site maps de google (bientot suivie les autres).
N'est ce pas l'alternative trouvé par google pour le probleme d'indexation efficace des changement de pages régulieres ?

je ne sais pas depuis combien de temps sont en place les sites map ... je n'ai que 2 semaines d'ancienneté dans ce monde

merci en tous les cas
jeremy

[Thierry Bugs]

Jette un oeil sur Phpdig :
http://www.google.fr/search?hl=fr&q=php ... ogle&meta=

tu peux faire toi-meme un moteur et c'est le "meme principe" en xxl pour les gros moteurs