Liste de moteurs de recherche

[yule]

Hello,

Un moteur de sites n'a pas de crawler ! tu confonds avec un moteur de recherche...

Pour les pages indexées.... La plupart des internautes n'ont pas conscience que l'unité de travail d'un moteur de recherche est le document et non le domaine, le but de notre moteur de sites est de travailler avec les domaines. Donc en domaine, nous avons ~21500 url sur notre base (que des urls dit propre, pas de monsite.free.fr ou monsite.voila.fr etc...)

Je sais pas si ta question était sérieuse ou si cela était de l'ironie....

Yule

[copyme]

Hello,

Un moteur de sites n'a pas de crawler ! tu confonds avec un moteur de recherche...

Pour les pages indexées.... La plupart des internautes n'ont pas conscience que l'unité de travail d'un moteur de recherche est le document et non le domaine, le but de notre moteur de sites est de travailler avec les domaines. Donc en domaine, nous avons ~21500 url sur notre base (que des urls dit propre, pas de monsite.free.fr ou monsite.voila.fr etc...)

Je sais pas si ta question était sérieuse ou si cela était de l'ironie....

Yule

C'était sérieux, je vois pas pourquoi je ferais de l'ironie.

Ca m'interesse parce que j'ai fais un moteur de recherche également qui indexe les sites mais il y a un crawler qui aide à mettre de la matière dans la base...selon des algorithmes qui enlevent le dechet comme site du régie publicitaire,etc...et qui en retire des bases de connaissance pour faire la recherche. Ce n'est quand béta mais ca commence à marcher pas mal.

Parce que je trouve que si il n'ya pas de crawler il n'y aura pas assez de sites dans l'index...tu fé la recherche comment avec des opérations logiques ou en fulltext ?

@+

Lookdir.net

[Soak]

Je suis en train de programmer mes robots pour mon moteur de recherche SycaroX.

Anciennement moteur de recherche de SITES (noms de domaine) avec un CROWLER (en PHP).

Je l'est reconverti en moteur de recherche de documents Open Source, c'est-à-dire libres de droits (programmes, images, audio, vidéos).

Je vais les programmer en Python.

++

[copyme]

Je suis en train de programmer mes robots pour mon moteur de recherche SycaroX.

Anciennement moteur de recherche de SITES (noms de domaine) avec un CROWLER (en PHP).

Je l'est reconverti en moteur de recherche de documents Open Source, c'est-à-dire libres de droits (programmes, images, audio, vidéos).

Je vais les programmer en Python.

++

Cest assez puissant le python. Mais avez vous pense a nutch en java ?

[Soak]

Nutch... mon moteur sera une alternative ! C'est comme les marques, t'a le choix, y'a pas qu'une seule marque

Puis bon, c'est un projet, histoire aussi d'apprendre le python, et de m'occuper

[yule]

C'était sérieux, je vois pas pourquoi je ferais de l'ironie.

Excuse-moi, je pensais que c'était de l'ironie car j'avais cité mozbot comme simple plateforme de recherche....

Alors oui j'utilises le fulltext pour mes recherche avec 4 algorithmes...

1. sur le titre
2. sur la description
3. sur les métas-tags
4. sur l'url

Regarde c'est pas un secret (enfin pas l'algo remplacé par des xxx....lol)

Code: Tout sélectionner

$query = "SELECT id, nomsite, description, mcles, url, whoisvoir,(    
      (xxx * (MATCH (nomsite) AGAINST ('$mots2' IN BOOLEAN MODE)))    
       + (xxx * (MATCH (description) AGAINST ('$mots2' IN BOOLEAN MODE)))    
       + (xxx * (MATCH(mcles) AGAINST ('$mots2' IN BOOLEAN MODE)))    
       + (xxx * (MATCH(url) AGAINST ('$mots2' IN BOOLEAN MODE)))  ) AS relevance FROM $tableannu    
       WHERE ( MATCH (nomsite , description, mcles, url) AGAINST ('$mots2' IN BOOLEAN MODE) ) AND valid='1' AND suspens='0' HAVING relevance > 0 ORDER BY relevance DESC LIMIT $debut,$limit";

Voilà si ça peut aidé quelqu'un..... j'ai toujours été partisan du Gratos et de l'échange....

Il est vrai que ça limite ma base (en quantité mais pas en qualité...), car comme déjà dit je n'accepte que les noms de domaine propre et pas de site x, j'ai en moyenne 80 à 100 sites soumis par jour, sur ce nombre j'en élimine facilement 30 à 40 pour non respect des conditions.... (le lien en retour n'est pas obligatoire... donc pas d'élimination si le lien n'existe pas...). de plus, je me suis refusé de rewriter les résultas... il serait pas normal d'arriver sur mon moteur par un autre résultat de mon moteur.

Par contre, mes 3 moteurs utilisent la même base de données avec quelques différences concernant la région qui m'intéresse... à la base mon moteur (cnous.ch) était prévu que pour la Suisse romande... (en France vous dîtes la Suisse Française je crois...) et comme finalement j'avais plus de sites français que romand... (oui les Suisses ne participent pas beaucoup.... il consulte uniquement...) j'ai crée vigoos.com, pour le 3ème, yatoo.ch c'est plus un multi-annuaires avec un m*oteur de s*tes en plus...

J'essaye juste d'être différent dans mes idées sur une manière de rechercher une info sur le web

A+
Yule

Ps: mes moteurs existent par hobby....(j'ai un job en dehors et je fais mes 41h00 par semaine OUI c'est pas 35h00 chez nous.. lol) pour mon égo en tant q'autodidacte (graphisme, php/mysql) serait d'avoir un pr 6 sur un de mes 3 sites.... et j'aurais atteint un de mes buts....

[Soak]

Ahhhhh le PageRank... si ça fait pas le bonheur...

[copyme]

Merci de ta précision mais cetait pas nécessaire de donner le code de tes requetes je sais comment ca marche


Cetait juste pour avoir quelques précisions...tu as combien de visiteurs par jour ? et tu as mis combien de temps à te faire connaitre ?

[yule]

Le code(une infine partie) est là pour être partagé, je pense bien que tu t'y connais au vu de la qualité de ton moteur, moi je ne m'y connais pas énormément... Je suis de loin pas excellent dans un domaine précis.... je suis un touche à tout en vous lisant ici ou ailleurs...

Pour les visites...

Vigoos à 1 mois et demi...et pas encore de pr (difficile donc de te répondre), le nombre de visiteurs est un peu près de 800 à 900 visiteurs uniques par jour mais bon je suis aidé par la notoriété (bien référencé) de mes deux autres moteurs plus régional avec un .ch (un peu plus de 5'000 visiteurs par jours pour cesdeux sites, yatoo.ch & cnous.ch.

Je pense que sans passer par mes autres sites... ça doit être près de 500 visiteurs par jours qui arrivent directement sur vigoos.com

Le fait d'être moins nombreux sur le territoire Suisse à proposer un moteur de recherche aide passablement avec google.ch , de plus nous avons 3 langues officielles en Suisse (Fran. allem. & et Italien) ça réduit passablement le nombre de concurrent...

Ce qui m'a beaucoup aidé mise à part l'échange avec mes autres sites, c'est les articles de la presse du web sur vigoos.com et les nombreuses visites sur mon blog. Un autre moyen de drainer du monde, c'est ma page d'outils (disponible sur mes 3 sites...)

Les stats de mes deux autres sites sont visible sur mon blog (vigoos est trop jeune pour y être présent..) -http://blog.cnous.ch/index.php/2006/02/01/109-de-100-000-visiteurs-en-1-mois-pour-yatooch

Le but est de faire d'ici à la fin de l'année sur vigoos un peut prêt 3'000 visiteurs par jours, je reste modeste car je ne peux en demander plus pour mon moteur qui reste juste une alternative ou en complément au grand moteur...

Et toi tu en est ou avec tes visites ? et le nombre de sites ? du reste j'ai vu que toi tu acceptes toutes sorte d'url.

A+
Yule

[copyme]

Je minteresse de pres au monde des moteurs de recherches et de la sémantiques sur internet (ayant travaillé pour des boites d'analyse linguistique) alors toutes le nouveautés et les informations fraiches sont bonnes à prendre.

En plus je m'interresse au concurrent
Pour savoir les choses à améliorer et trouver des services qui n'existe pas encore sur internet...en particulier comment garantir des résultats pertinents en fonction des requetes que les utilisateurs ont déjà faites et associer ca à la pertinance des contenus des sites web...

voila

Au niveau visite cest kifkif un peu pret 800 visiteurs jour ( pas des pages vues pour ceux qui mélangent )

Le nombre de site sur lookdir.net est en constante augmentation mais ca va pas tres vite car le crawler est limite par la bande passante que nous avons a disposition et on évite de surcharger les sites, on doit etre à environ 5000 sites cest bof....

En fait on aspire les liens internes des sites on passe dans la moulinnette ca calcul la pertinence en fonction de tous les autres sites pour chaque mots cles trouves a l'intérieur cest ca qui prends le plus de temps car cest un gros calcul.

Et finalement on affiche la description des métas lors d'une requete ca semble quand meme plus pres de la réaliter.

voila pour les petits secrets de conception