Il ne crawl que le robots.txt

[Benoit1]

Salut, depuis quelques temps je trouve dans mes stats un bot qui ne crawl des dizaines de fois le robot txt. A quoi ça sert je me le demandes ?

[dmathieu]

host ?
il crawl uniquement le robots.txt ?

[Benoit1]

host ?
il crawl uniquement le robots.txt ?

Oui

-Unknown robot (identified by hit on 'robots.txt') 0+195 795.98 Ko

le 0 étant (ou devant être les hits) les + 195 sont les passages sur le robots.txt.

Les autres bots passent dans tout le site bien sûr.