[Outil] Calcul de similarité textuelle entre 2 pages web

[WebRankInfo]

Cet outil vous permet de calculer la similarité entre 2 pages web. L'algorithme utilisé repose sur l'analyse des occurrences des mots (mais pas sur leur positionnement dans les pages).

Certains pensent que Google utilise cette notion dans son algorithme. Avoir des pages trop similaires pourrait entraîner des problèmes d'indexation...

Cet outil vous permettra peut-être de vérifier si cette hypothèse a du sens, en tout cas pour vos pages.

C'est encore largement une version beta, donc je compte sur vos remarques (constructives) pour améliorer l'outil

http://www.webrankinfo.com/outils/similarite.php

[macjee]

Salut, euh petit bug déjà si tu fais un nouveau calcul le bouton calculer ne semble pas du tout réagir chez moi...

Sinon trés bonne idée merci.

[TOMHTML]

ça fonctionne la premiere fois
mais sur la page du resultat tu as remis le même formulaire en bas ==> pas l'air de fonctionner celui là


edit : et ça vire les variables ton truc. blabla.php?action=article&id_article=76214&id_rubrique=11499 devient blabla.php .
donc ça affiche :

Résultats
Erreur : calcul de similarité des titres impossible.

Erreur : calcul de similarité des balises meta description impossible.

[gatcweb]

Cet outil vous permet de calculer la similarité entre 2 pages web. L'algorithme utilisé repose sur l'analyse des occurrences des mots (mais pas sur leur positionnement dans les pages).

Bonsoir,
J'ai fait un test sans voir de bug.
Par contre, j'ai comparé avec "Similar Page checker". J'en avais parlé le 20/01/05 dans ce post :
Taux de similarité entre 2 pages

Et sur ce site là (mais je ne connais pas l'alogorithme utilisé), j'obtiens des valeurs inférieures (avec les mêmes URL):

WRI Dice : 83.72%
WRI Jacard : 71.99%
Similar Page checker : 59.28%

De quoi perdre son latin...

[WebRankInfo]

je n'arrive pas à reproduire le pb de macjee
quel est ton navigateur ? peux-tu m'indiquer en MP les URL que tu as testées et qui font planter ?

[gatcweb]

Salut, euh petit bug déjà si tu fais un nouveau calcul le bouton calculer ne semble pas du tout réagir chez moi...

Moi aussi, sous WinIE 6.0 sp1 mais pas sous Firefox 1.0.
Voilà....

[rituel]

Pour la similarité dans l'url tu devrais ignorer les HTTP, les WWW et les extension.

[WebRankInfo]

OK j'ai corrigé le bug indiqué par macjee

Pour la similarité dans l'url tu devrais ignorer les HTTP, les WWW et les extension.

j'ignore pour l'instant uniquement le http mais effectivement je pourrais ajouter www ainsi que les extensions

[macjee]

Ok désolé je m'étais absenté un petit bug de jeunesse sinon c trés bien et surement instructif (jai des pages à plus de 90% de similarité avec mon site qui a plongé dans google...)

[JeunZ]

J'ai une question bete... Vaut il mieux un % faible ou fort... J'imagine faible non? Ca veut dire que les pages sont (+) différentes.

[macjee]

J'ai une question bete... Vaut il mieux un % faible ou fort... J'imagine faible non? Ca veut dire que les pages sont (+) différentes.

Beh moi j'ai compris que plus c'est fort plus c'est similaire puisque c'est un test de similarité.

[JeunZ]

Oui j'allais aussi dans ce sens. Il vaut mieux un faible %, qui signifie que les pages sont pas vraiment similaires.

[WebRankInfo]

oui + c'est fort + les pages sont similaires
par contre il reste à "étalonner" l'outil, c'est à dire à se rendre compte des valeurs car dans certains cas on trouve 80% de similarité alors que les pages sont assez différentes.

j'aimerais trouver une méthode qui se base aussi sur la position des mots dans les pages.

[macjee]

Je suppose que cela aussi est sans les tags HTML, je veux dire sans les surlignage, mise en gras, etc...Si tu veux tenir compte de la position des mots il faudrait peut être tenir compte aussi de leurs poids ?

Enfin moi je dis ça comme ça , c'est peut être une bêtise..

Autre question est-ce que les méthodes que tu utilises éliminent les mots courant dans le texte ou c'est vraiment brut (élimination des articles, le, la, etc...)

[rituel]

N'oublies pas également de ne pas compter toute la syntaxe HTML, car tes % sont vraiment élevés même entre ton site et le mien ce qui ne rime à rien puisqu'ils ne sont en rien identiques !

Sinon tu peux t'amuser à faire le distinguo entre la similarité du squelette HTML et le contenu, l'indicateur serait plus fiable et donc plus intéressant