Crawl de vos fichiers RSS

[ecocentric]

Je maintiens un annuaire RSS couplé à un moteur de recherche. Je suis en train d'améliorer ce moteur et compte notamment augmenter la fréquence des crawls des flux RSS.

Ma question : à partir de quelle fréquence jugez-vous gênant le crawl de votre flux RSS ?

[drpark2]

Hello,

personnellement tous les 1/4h je pense que c'est bien (c'est quand meme rare les flux rss qui change toutes les 5mn)

[StuWee]

une par heure

grand nombre de blog ne publient qu'un billet par jour, tous les quarts d'heure ca fait peut-etre un peu bcp quand même

[JeunZ]

Ca depend...

Si c'est pour un forum très populaire 1/4 d'heure, si c'est pour un blog 2 fois par jours? Enfin ca depend encore du blog...

Faudrait adapter

[loletech]

C'est clair que ça dépend du type d'infos du fil RSS.

S'il s'agit d'un site de news 1/4 d'heure ça peut aller (même si la majorité ne mettent pas leurs infos à jour plus d'une fois par heure).

Pour les blogs, je pense qu'une à deux fois par jour est pas mal (même si la pour la majorité d'entre eux même une fois par semaine pourrait-être suffisant).

Mais c'est clair que pour un moteur de recherche de flux RSS, c'est un point très important (j'ai les mêmes problèmes ) Il faut absolument être capable de gérer des timing de mise à jour différenciés selon les flux.

[JeunZ]

Faut que tu fasses X types de flux classés par popularité.