Coder un comparateur de prix

[iconso]

Les comparateurs aspirent simplement les sites en question avec des spiders pour dynamiquement en tirer les offres

Je vais essayer d'apporter quelques infos
En fait il existe deux méthodes principales de collecte des données pour les comparateurs de prix :
1/ Le crawl (aspiration des fiches, extraction des données utiles)
2/ Les flux : XML, CSV, Excel, un bon comparateur de prix doit être capable de gérer (presque) toutes les formes de données standardisées.

D'un manière générale, la 1ère méthode montre rapidement ses limites, ce qui fait qu'elle a presque disparue. La facilité d'extraction des catalogues en XML ou CSV fait qu'il vaut mieux privilégier cela. Avec un flux de ce type, plusieurs problèmes importants disparaissent :
- La taille des fichiers à transférer est bien moindre (1000 produits prenent moins de 300 ko en moyenne en XML/CSV, contre 1000 * 50 ko en mode crawl) : ce ne permet pas de rafraichir les prix à la même fréquence.
- Les erreurs liées à l'extraction des données sont presqu'inexistantes : si le marchand change son design, etc.. le XML/CSV n'en est pas affecté.

A mon avis, ce qui fait l'intérêt d'un comparateur, ce n'est pas sa capacité à lister des produits, mais sa capacité à hiérarchiser et classer l'information, en la rafraichissant le plus souvent possible. Certains le font plus ou moins bien. Pour hierarchiser l'info, il y a deux philosophies qui sont souvent combinées :
- L'identification produit : par exemple http://hifiphotovideo.kelkoo.fr/b/a/sbs ... 35997.html
- Le search : http://hifiphotovideo.kelkoo.fr/ctl/do/ ... 01&x=0&y=0

L'identification des produits est une phase assez complexe, au point d'ailleurs que certains comparateurs la font manuellement ou se contentent juste de méthodes de search (Froogle, LeGuide, Webmarchand, etc..). Personnellement je défends l'identification des produits lorsque c'est possible, parce que ca évite les remontées d'accessoires et de produits parasites, et l'utilisateur final s'affranchit de la manière dont a été saisi le nom du produit chez le marchand (une recherche sur Ixus 40 ne renverrait généralement pas un produit nommé Ixus40 et inversement) : il voit alors en une seule page les marchands vendant le produit qu'il cherche, et seulement celui ci.

Un comparateur avec identification des produits gratuit pour les marchands, je ne suis pas certain que cela puisse exister : ca demande des ressources considérables. Dans le search, il existe du gratuit, c'est une autre problématique, beaucoup plus simple (Kelkoo, Froogle - bientot en France, etc..). Les résultats sont par contre parfois décevants sur certaines catégories de produits.

Pour donner un ordre d'idée de l'ampleur du travail, un site comme i-Comparateur traite toutes les 6 heures les catalogues de 136 marchands, soit un peu plus de 350,000 prix. Il est possible d'intégrer un marchand en quelques heures, quel que soit son nombre de produit (il n'y a pas d'intervention humaine sur la classification des catalogues des marchands).

Fred

[M le maudit]

Je tiens tout d’abord à féliciter « iconso » pour sa réponse qui n’a pas manqué d’éclairer beaucoup de monde sur l’ampleur du travail que représentent les développements, mais je reste mitigé quant à l'ampleur du travail…
Je comprends tout à fait que le secteur des comparateurs d’achats en ligne reste entre les mains de certain qui ne veulent pas voir arriver de nouveaux acteurs

Il est évidement vrai que les flux sont préférables au crawler, cependant tous les sites marchands ne disposent pas encore de flux XML ou CSV, c’est pourquoi l’aspi reste une solution qu’il faut savoir traiter !!!

Les difficultés résident :
- dans la connaissance du fonctionnement des sites marchands,
- de leurs architectures,
- et le fait d’avoir de bonnes relations avec les marchands pour obtenir leur accord.

Ensuite, les développements doivent être bien pensé en amont pour ne pas avoir à tout modifier en cours. Les cahiers des charges doivent tenir compte des contraintes marchandes des sites.
Mais comme le dît « iconso » ensuite tout est automatisé !

C'est pourquoi, il est donc préférable de connaître tous ces aspects marketing avant de partir dans tous les sens et ne pas voir que l’aspect tech du projet.

Il reste vrai que cela représente du travail, mais avec une vision claire dès le départ, cela reste tout à fait faisable.

A votre dispo

[iconso]

Tiens comparer-tout.com c'est la suite d'astucius.com ?

Je comprends tout à fait que le secteur des comparateurs d’achats en ligne reste entre les mains de certain qui ne veulent pas voir arriver de nouveaux acteurs

C'est l'impression que cela peut donner, parce que le marché du comparateur généraliste est dominé par un seul acteur (Yahoo shopping, soit le généraliste Kelkoo + Monsieur Prix - plus spécialisé), qui domine les autres de manière très très nette. Ensuite pour les challengers c'est le serpent qui se mord la queue : il est plus difficile d'attirer les marchands avec une audience faible, et il est difficile de fidéliser des internautes avec peu de marchands. Personnellement, je ne peux qu'encourager ceux qui souhaitent se lancer dans l'aventure à le faire, ceux qui veulent des infos à ce sujet peuvent me contacter en PM.

tous les sites marchands ne disposent pas encore de flux XML ou CSV, c’est pourquoi l’aspi reste une solution qu’il faut savoir traiter !!!

Je ne crois pas avoir rencontré un seul marchand qui n'arrive pas à mettre en place un flux : il leur faut parfois du temps, mais ca finit toujours par se faire. Il faut dire aussi que dans mon domaine (informatique, image, son, téléphonie, éléctroménager), la plupart des sites sont 100% dynamiques et permettent donc d'extraire cela facilement.

Mais comme le dît « iconso » ensuite tout est automatisé !

Je ne voudrais pas que ceux qui lisent ce sujet pensent qu'il "suffit" d'automatiser, comme si cette tache était triviale.. Je crois qu'il y a plusieurs membres de ce forum qui s'occupent de comparateurs de prix, et tous devraient pouvoir confirmer qu'à partir d'une certaine taille, les choses prennent une ampleur complètement différente, essentiellement d'un point de vue technique. Par exemple, on ne dédoublonne pas une table de plusieurs centaines de milliers de lignes comme on peut le faire avec quelques dizaines de milliers. Chaque traitement, s'il n'est pas adapté, peut prendre un temps fou, et créer des points bloquants...

Fred

[M le maudit]

Quelle réponse "icono", je voie que tu as fait des recherches

C'est vrai que j'ai lancé Astucius en mai 2003, puis comparer-tout.com il y a quelques semaines.
Mais on ne peut pas dire que l'un est la suite de l'autre. Comparer-tout.com n'est pas vraiment un comparateur, mais est plus une boutiques de promo...

Comme je le disais dans mon précédent message et "iconso" le confirme, même si dans le secteur des produits info, la pratique des flux est bien établie, les voyagistes, l'alimentaire, les fleurs, les vins et encore bien d'autres ne disposent pas de flux...

Et si vous voulez lancer un moteur pour ces produits : une seule solution si vous ne voulez pas voir apparaître vos premiers cheveux blancs avant d'avoir obtenu un flux, L'ASPI !

Si vous avez des questions, n'hésitez pas

[iconso]

Quelle réponse "icono", je voie que tu as fait des recherches

Je regarde souvent le "Qui sommes nous ?" des sites que je peux rencontrer et qui touchent de plus ou moins loin à la comparaison de prix, et dans ton cas c'était assez original pour que je m'en souvienne

Fred

[M le maudit]

iconso, je te dis merci

Ca fait toujours plaisir un compliment

[gunt]

La question est au niveau de la rémunération, car si on regarde les partenariats il est souvent proposé une rémunération sous forme de pourcentage et qui n'est payé, sois à partir d'un certain seuil, et souvent par trimestre.

Donc ça veut dire pas d'entrée d'argent pendant 3 mois.