Ou commencer l'indexation du web ? :)

le Sam Jan 28, 2006 18:21

Salut,
dans le cadre des TIPE ( la même chose que les TPE pour les lycéens),
je crée un petit moteur de recherche, et je me pose une question bête : où commencer l'indexation ?
Sachant que mon moteur n'est fait que pour en étudier le fonctionnement,
il n'indexera donc pas beaucoup de pages.
J'aimerais que ce soit des pages en français et sur tous les sujets.

Si vous avez des idées...

le Sam Jan 28, 2006 18:53

Moi j'ai une idée: Lache la bête sur Webrankinfo. :-)

le Sam Jan 28, 2006 19:02

Ouais mais avec le nombre de pages qu'il y a, il va s'exciter sur le forum pour indexer uniquement des pages sur le référencement, ce qui serait bien, ce serait d'avoir plusieurs sujets.

J'avais pensé à Wikipédia peut-être.

le Sam Jan 28, 2006 19:07

les crawlers ont deux sources principales pour les liens à indexer :

1 - Les liens soumis à la main : tu met des liens manuellement dans un fichier ou dans une base que ton crawler utilisera
2 - L'apprentissage : au fur et à mesure que ton crawler vas indexer des pages, il vas trouver d'autres liens qu'il vas ajouter à sa base...etc

il ny'a rien de magique là dedans, un moteur ne peut pas "deviner" des url

le Sam Jan 28, 2006 19:10

aladdin a écrit:il ny'a rien de magique là dedans, un moteur ne peut pas "deviner" des url

Je sais bien,
mon moteur suivra les urls qu'il trouvera dans les sites.
Ma question est : par quelle page commencer ?

le Sam Jan 28, 2006 19:14

Salut

Lache le sur Dmoz au moins tu es sur d'avoir des sites de qualités :roll:

@+

Adam

le Sam Jan 28, 2006 21:08

Sur un annuaire généraliste comme Dmoz en effet ca peut être une bonne idée.
Ou alors au pire des cas, lache le chez moi ^^

le Sam Jan 28, 2006 21:33

dmoz

le Sam Jan 28, 2006 22:01

Google News peut être intéressant.

le Sam Jan 28, 2006 22:52

C'est vrai que google news peut être une bonne idée, je vais ptêtre commencer par là.
Dur de choisir entre google news et Dmoz, Dmoz me donnerait surement plus de diversité.

Merci pour vos suggestion

le Dim Jan 29, 2006 0:10

Dmoz c'est tres représentatif du web :wink:

le Dim Jan 29, 2006 0:49

Bonsoir
Effectivement Dmoz contient des sites perso comme des sites pro contrairement à Google News qui ne contient que des gros en grande partie.

@+

le Dim Jan 29, 2006 9:50

par là
http://www.la-fin.c.la/

ok, j'ai compris :arrow:

Ou commencer l'indexation du web ? :)

Ou commencer l'indexation du web ? :)

Formation recommandée sur ce thème :

Lectures recommandées sur ce thème :

Qui est en ligne