Schéma de base de données avec relations sémantiques

[cedric_g]

Bonsoir


Je suis en passe de concrétiser un projet sur lequel je travaille disons... depuis un certain temps et qui met en oeuvre un certain nombre de relations entre les mots que comportera la base de données (ces "mots" ou expressions clé permettront la classification de photographies)

Le principe de mon projet repose non pas sur des thésaurus pré mâchés comme on en trouve sur le net (et ne collant pas forcément aux besoins réels de l'utilisateur) mais à une construction au fil du temps par l'utilisateur / administrateur (il n'est pas question d'aborder ici la méthodologie : l'utilisateur ce sera moi, en tout cas dans un premier temps )

Parmi les relations prévues :
- synonymes
- hypéronymes (ce qui correspond à une hiérarchie : "mammifère / ongulé / suidé / sanglier" par exemple, "mammifère" est un hypéronyme d'ongulé, qui est lui-même hypéronyme de suidé, etc.)
- holonymes (principe légèrement différent en ce sens que la hiérarchie fonctionne par partitionnement physique : sanglier est holonyme de groin, ou poisson est holonyme d'écaille, par exemple)
- homonymes (seront gérés certainement de manière automatique par un algorithme soundex... à voir ce que ça donne sachant que la BDD sera bilingue !)

Seulement voilà, j'ai comme le sentiment que j'oublie des choses. Comment gérer aux mieux les singuliers / pluriels / genres / variantes d'âges ou je ne sais quoi encore ?

Par exemple : chevreuil, brocard (mâle), chevrette (femelle), chevrillard (jeune de plus de 6 mois), faon (jeune de moins de 6 mois), etc.

Ce sont des synonymes, mais qui ont une relation spécifique entre eux et un degré de synonymie si j'ose dire qui est différent.


Dans mon schéma, les mots sont liés entre eux par :
- hypéronymie
- holonymie
- synonymie (avec une importance de 1 à 5, 5 étant un parfait synonyme, 1 étant un synonyme "plus éloigné" ; je n'ai pas forcément le besoin de matérialiser la relation parent/enfant par exemple, il faut juste que je sache que "faon" est "moins synonyme" que "chevrette" pour un "chevreuil")
- relation phonétique (homonymes)

Ajoutons là-dessus une non correspondance systématique d'une langue à une autre (en anglais, sauf erreur de ma part il n'y a pas de traduction pour "brocard", le chevreuil mâle !), j'en passe et des meilleures !

Enfin, j'aimerais ajouter des couplages de mots comme "chevreuil femelle" qui est synonyme de "chevrette" ! Dois-je en rajouter une couche, ou dois-je considérer "chevreuil femelle" comme un mot informatiquement parlant ? (sachant que si oui, il faudra aussi considérer son inverse : "femelle chevreuil" !)


Est-ce que certains d'entre vous ont déjà travaillé sur ce type de projet ? Je recherche éventuellement des exemples...

[WebRankInfo]

ton projet semble passionnant en tout cas ! je n'ai pas vraiment la possibilité de t'aider mais j'ai qq questions :
- as-tu prévu un système de lemmatisation quelque part ?
- je ne connaissais pas l'holonymie, ça semble proche de la métonymie non ?
- peux-tu nous expliquer un peu plus comment tu comptes exploiter tout ça concrètement ? Ca va être utile à l'internaute ? Au maillage interne ? au référencement ?

[Bigb06]

Un gros morceau ce projet, en tout cas tu as l'air de bien avoir identifié tous les cas qui t'intéressent, et c'est le plus important pour ensuite structurer la base.

Bon courage!

[cedric_g]

Pas de système de lemmisation prévu (pas encore en tout cas) ; je ne connaissais pas la métonymie mais ça ne correspond pas vraiment à l'holonymie.

Au niveau des objectifs, il s'agit de proposer un ensemble fini d'expressions clé menant à des galeries photographiques correspondant à l'expression clé de la page en question (avec mise en exergue d'une ou plusieurs photos plus particulièrement - je n'ai pas encore défini ce point) ; cet ensemble d'expressions clé serait évidemment fortement maillé en interne...

Je dispose personnellement d'une photothèque de +30000 images (on dira environ 10000 images réellement vendables) ; l'objectif est donc de créer une "longue traîne" la plus vaste possible au niveau du champs lexical, avec à chaque expression clé une galerie pouvant répondre aux besoins de la personne qui recherche une photo.

Mon objectif est donc de créer une galerie beaucoup plus axée diversité au niveau des mots / contenu texte mais aussi des photos, de manière à minimiser le taux de rebond et permettre à l'internaute de naviguer / filtrer ses recherches avec un système à facettes.

L'interface d'admin sera développée en technologie .Net (application Windows), avec gestion des champs IPTC de manière à pouvoir reprendre plus ou moins automatiquement l'indexation existante (chez moi gérée avec Adobe Lightroom 2.3) ; je précise qu'à la base je suis développeur spécialisé en technos .Net (10 ans d'expérience en applis de contrôle de gestion...)


(actuellement avec un site comportant un peu plus de 250 photos très basiquement classées en catégories, j'arrive à faire 1200 à 1800 VU/jour selon les périodes de l'année... Avec un truc chiadé et quelques milliers de photos en ligne dans plusieurs centaines de thèmes, ça devrait le faire ; l'objectif final étant d'exploser mon CA photo, de simplifier ma gestion des ventes, de gérer simplement les photos en droit géré - c.à.d que je diffuse via des agences - et de reprendre les parts de marché à certains discounters d'images qui cassent le marché en faisant bénéficier de mon projet à d'autres photographes !)

Moi, ambitieux ?...

[Genesys]

Pour la classification de contenu, on parle me semble-t-il de "taxinomie". Tout repose sur la structure des bases de données et, en particulier, des relations entre tables. Et, ce n'est pas très éloigné d'un système de tags classique, chaque contenu étant associé à un ou plusieurs mots-clés synonymes, un ou plusieurs mots-clés homonymes, etc.

Pour le référencement, l'intérêt est évident

Seul bémol, le travail de classification peut s'avérer particulièrement long. C'est un travail de fourmi, si je peux me permettre...

[cedric_g]

Oui, d'où l'intérêt d'une interface utilisateur chiadée au niveau de l'admin

[2dm]

Je répond rapidement, étant comme d'habitude à la bourre

1) Pour tes synonymes, préfère un poids codé en double sur [0, 1] que des entiers. Ca sera bien plus efficace pour mettre à jour (par exemple en fonction de ce que les gens suivent effectivement pour trouver une photo).
2) Pour ton exemple : "chevreuil femelle", il faut que tu remontes à un niveau de concept. Soit tu gère tout en tant que concept, soit que les associations. Pour l'ordre tu t'en fous, il suffit de faire comme cela :
NEW_CONCEPT = SUB_CONCEPT1 [RELATION_OPERATOR] SUB_CONCEPT2 ...
les relations étant les opérateurs logiques (or/and/...).
3) Tes hypéronymes correspondent à une taxonomie, non ? Fais très attention, ca prends énormément de temps à faire.
4) Tes holonymes peuvent se voir comme la chercher si un concept appartient à la description d'un autre concept, non ? Ca me semble le plus simple pour rester générique.
5) Pour la traduction, je ne comprends pas ce qui te bloque. Si un mot n'est pas directement traduit par un autre (brocard -> male deer), ce n'est pas le cas avec un concept, puisqu'il suffit alors d'ajouter des sous-concepts pour "compléter" la description.

Je me demande néanmoins si des algos de type Filtrage Collaboratif, ne sont pas plus adapté à ce genre de traitement. Si tu reste dans le domaine animalier, alors ton projet me semble réalisable.
Si tu veux faire quelque chose de plus générique et aussi détaillé, oublie si tu es seul, tu vas devenir fou.

[cedric_g]

Merci pour ton intervention éclairée.

Effectivement les hypéronymes correspondent peu ou prou à une taxonomie ; cela prend effectivement du temps, mais il est indispensable de pouvoir construire quelque chose d'assez "simple" (par rapport à ce qui existe, je reprends l'exemple des animaux : il existe plusieurs classifications possibles des espèces : systématique, scientifique, etc. Cela ne m'intéresse pas ! L'objectif est de construire une classification personnelle et d'avoir surtout un outil permettant de gérer cela très simplement... Les performances et l'ergonomie de l'outil d'administration en amont sont donc extrêmement importantes !)


À terme, j'aimerais aussi (je n'en avais pas parlé) pouvoir définir des agrégats multi-critères spécifiques classés par thèmes. Par exemple, sur le thème "Animaux" nous pourrions définir les critères suivants :
- taxonomie (genre / groupe / sous-groupe / espèce / sous-espèce... avec gestion des synonymes)
- sexe (mâle / femelle)
- âge (adulte / juvénile / etc.)
- milieu (forêt / plaine / etc.)
- couleurs (noir / blanc / rouge / etc.)
- types de couleurs (uni / multicolore)


Cela permettrait par exemple de rechercher les oiseaux multicolores avec du noir vivant dans les forêts, ou les mammifères nocturnes vivant dans les jardins. Ce avec un moteur de recherche à facettes, qui permettrait donc d'avoir un ensemble fini de combinaisons (éventuellement couplé à une zone de recherche guidée à auto-complétion)

Mais bon j'ai dans un premier temps si j'ose dire "simplifié" mon projet, de manière à pouvoir sortir quelque chose pour l'été. Donc oubliez la partie "à facettes"

[2dm]

L'objectif est de construire une classification personnelle et d'avoir surtout un outil permettant de gérer cela très simplement... Les performances et l'ergonomie de l'outil d'administration en amont sont donc extrêmement importantes !)

Justement, c'est ce que je te dis. A moins d'avoir un objectif limité (domaine animalier, ...) faire ça de façon générique ne sera pas
faisable.

Mais bon j'ai dans un premier temps si j'ose dire "simplifié" mon projet, de manière à pouvoir sortir quelque chose pour l'été. Donc

Je te conseillerais effectivement de développer uniquement une partie (les synonymes) de ton projet. Une fois fait, tu t'apercevra que c'est peut-être suffisant, ou tu auras une idée plus claire de ce qui est nécessaire.

Par exemple, plutôt que de rechercher des photos avec des descriptions similaires, tu pourrais directement faire la recherche sur l'image (histogramme de couleur / forme / ... ). Faire l'inverse, en étant en plus exhaustif sur la description des descripteurs, me parait trop gourmand.

[cedric_g]

Concernant les galeries, 1 site = 1 thématique (j'ai toujours fait ainsi... Les résultats sont bien meilleurs au niveau du positionnement que les galeries généralistes)

De fait, 1 thématique = 1 base de données (en réalité non, mais bon vous avez compris le principe : chaque site aura son propre domaine, et donc son propre paramétrage)


Par exemple actuellement mon site -http://www.aube-nature.com est dédié à la photographie de nature, et -http://champagne-ardenne.aube-nature.com est lui décliné plus spécifiquement sur ma région. Et pourtant derrière, je n'ai qu'un seul outil et qu'une seule base de données

[2dm]

Dans ce cas tu veux constituer une base complète sur potentiellement tous les sujets, en permettant de lier chaque concepts à d'autres en fonction de critères de symétrie, de transitivité ou de sa présence dans la description du concept courant, de façon manuelle.

Et là, à mon humble avis, ton projet n'est plus faisable* puisqu'il revient à définir un système capable de s'auto-décrire (à un concept est liée une série d'autre concepts via une relation définie par un opérateur (qui peut être lui même un concept)), non pas sur une base définie et très limitée, mais sur "tout".

*pas techniquement, mais tout simplement par rapport au temps nécessaire à sa conception

[cedric_g]

Mmmm... Oui et non.

Les classifications à facettes existent déjà au niveau des métadonnées des banques d'images, il convient juste de les transposer à un système de navigation qui sera lui un peu plus simplifié et "fini" au niveau des dimensions possibles.

Quand on gère une banque d'images de plusieurs dizaines de milliers de photographies, sans système de classement point de salut

[petitchevalroux]

Mmmmmh ça donne faim tout ça . Personellement j'ai un projet qui pourrait utiliser le même genre de technique, mais avant de me lancer je digère les informations que je croise par hasard sur le net (si qqn a un forum ou un site de référence sur la sémantique et la recherche je suis preneur ).

Du coup j'ai appris pas mal de chose que j'ignorai notamment le concept de lemmatisation (merci Olivier), par contre je vois pas trop comment faire ça algorithmiquement. Le stemming à l'air beaucoup plus simple (avec libstemmer) et c'est certainement un bonne base pour faire de la lemmatisation.

Par contre concernant les concepts je ne vois pas trop comment déterminer les concepts.

Est ce que vous feriez ça à partir des mot-clés ou des stems ou d'autres choses (par regroupement ...)?

[Toma]

Je ne réponds pas à la question, mais pour ceux qui ne connaissent pas, ça peut être intéressant : la base Wordnet.
C'est en anglais et ça comprend beaucoup de relations sémantiques. La base n'est surement pas suffisamment spécialisée pour l'utilisation de cedric_g mais ça peut donner des idées. Il est possible de la télécharger en mysql, la prise en main est assez longue mais c'est très instructif.

[psykoko]

Est ce que tu pourrais creuser un peu le modèle de base que tu adosserais à ton système ?
Je trouve le concept ultra intéressant : j'ai parcouru snowball, pour le stemming, c'est tout aussi passionnant.
Etant un pro-php, ce concept objet de Concept, avec une interface abstraite, qui apporte la possibilité de construire un objet Concept à partir d'une association de concept, ça m'éclate !!