Developpement d'un site de meta moteur vertical

[lilyrose]

Bonjour, bonjour,

Je suis nouvelle ici , et je suis associée dans un projet informatique de grande ampleur avec les investisseurs et tout le tralala , et nous allons développer un meta moteur dans un domaine très spécifique. Je cherche une techno open source capable de crawler des dizaines de milliers de sites ? Connaissez vous de telles technologies ? et aussi connaissez vous des passionnés de l'informatique qui pourraient nous aider à lancer ce projet avec eux ?
A bientot

Lilyrose

[DVD]

Niveau moteur open source, le projet le plus avancé est nutch :
http://lucene.apache.org/nutch/docs/fr/

Il y avait aussi htdig.
Mais niveau performance, c'est loin derrière les moteurs pour entreprise (Verity, Exalead,...) ou grand Public (Google, Yahoo,...)

[Thierry Bugs]

Extra, ça c'est de la réponse

j'ai regardé avec intéret et grande curiosité ce projet Nutch

[Leonick]

nous allons développer un meta moteur dans un domaine très spécifique. Je cherche une techno open source capable de crawler des dizaines de milliers de sites ?

un meta moteur doit crawler des dizaines de milliers de sites ? il me semblait que le meta moteur récupérait ses informations de quelques moteurs de recherches puis ensuite faisait ses propres classements ?