Mais comment font ces méta moteurs pour alimenter leur base

[welcominh]

Bonjour à tous, j'espère que ma question correspond bien à la bonne catégorie

Alors voilà, j'ai développé récemment un méta moteur (http://www.megadownload.fr) en m'inspirant de deux moteurs de recherche http://rapidlibrary.com et http://4megaupload.com qui sont 2 moteurs pour des célèbres hébergeurs de fichiers.
Techniquement, j'ai pu me débrouiller à peu près, et je ne suis pas mécontent du résultat. Mais reste une énigme, qui me turlupine depuis peu. C'est la question de l'alimentation de la base. Ces 2 moteurs voient leur base grandir chaque jour à une vitesse folle. Et j'ai beau réfléchir, je ne vois pas vraiment comment ils font.

Quelqu'un aurait-il une idée sur le comment de la chose?
Merci.

[darmond.j]

http://www.google.com/support/webmaster ... swer=35769

Utilisez le fichier robots.txt pour éviter l'exploration des pages de résultats de recherche ou d'autres pages générées automatiquement par les moteurs de recherche et qui n'offrent pas d'intérêt particulier pour les internautes.

Je ne donne pas chers de ton site

De plus, faire indexer des pages qui ne retournent aucun résultat est également très mauvais pour toi.

Et c'est pas interdit un site comme le tien ? Proposer du contenu sous licence me semble tout de même risqué ...

[welcominh]

Merci pour le conseil pour l'indexation des derniers résultats. Je ne connaissais pas ce point. J'ai corrigé ca dans le robots.txt.
Pour l'éternel question interdit/pas interdit, j'ai lu sur un autre topic du même genre que ca ne l'était pas en soi (car il s'agit de ce que propose le site et non ce que recherchent les internautes, en gros pareil que la légalité du P2P quoi). Mais ce n'est pas le débat.

Une idée sur le pourquoi du comment sinon?
Je viens de lire sur un forum, qu'apparemment ces sites utilisent des programmes qui tournent 24h/24. Pas étonnant donc soit-disant qu'ils "feedent" leur base chaque jour.

[gripsous]

Sympa MegaLeech ! Je vais le regarder ^^... par contre niveau juridique... hmm hmm Faire la promos de warez