Comment savoir les page en duplicate content ?

[julk]

Comment avoir une liste des pages en duplicate content ?
j'arrive pas à trouver une maniére simple et rapide...

[finstreet]

à première vue en faisant un sitemap ca te le signale

[Thierry Bugs]

un bon truc c'est de regarder les pages dans google :
site:monsite.com
celles qui ne sont pas en cache ou celles qui se trouvent en "résultat complémentaires" ont un problème
soit du duplicate, soit métas similaires... au cas par cas

[julk]

ben en fait c'est ce que je fais, j'ai une page sur 259 qui merde mais impossible de trouver laquelle

[Megachercheur]

un bon truc c'est de regarder les pages dans google :
site:monsite.com

Oui je fais pareil. Par contre sur un site, j'ai des pages qui ne sont ni "sans cache", ni en Résultat complémentaire : elles sont invisibles. Par exemple avec la commande site j'ai 50 pages qui sont annoncées. Mettons que j'en ai 40 considérés comme pertinentes. Je relance alors la recherche (filter=0) et Google m'en sort 5 de plus (3 sans cache et 2 en Résultat complémentaire). Au-delà, plus rien ! Pourtant en théorie il en manque 5 autres ! J'aimerai bien finir de faire le ménage, mais comment les identifier ? Je me suis même demandé si elles n'étaient pas en liste noire (je dis bien : pas le domaine, juste quelques pages) mais j'ignore si c'est possible.

[Thierry Bugs]

Non en liste noire c'est tout le site pas quelques pages.
Par contre, gg peut ne pas les trouver, c'est d'ailleurs à mon avis, l'intérêt du sitemap xml (mais c'est aussi ses limites : connaître ne fait pas apprécier).
Il est possible aussi qu'une page n'ait pas de valeur, elle mettra du temps à en prendre.

Mais justement celles qui n'apparaissent pas, se sont souvent celles là en duplicate content.
"une page sur 259" : aucune importance
5 sur 50 pages c'est pareil.
Parfois le crawl au fond des sites met des mois...
Le temps joue pour vous.

Le véritable problème du duplicate c'est quand c'est un nombre important de pages du site genre 30%, 50%. Car là c'est un problème plus profond, où des tas de choses sont à revoir.
Dernièrement sur un site français traduit en anglais, j'ai dû changer totalement les templates, les noms des répertoires, tout ce qui était possible pour le sortir du duplicate : google ne le crawlait pas du tout, au bout d'une semaine de ces changements, il est venu un peu, mais pas correctement !!
En fait j'ai compris ensuite, j'avais mis dans le .htaccess un répertoire qu'il ne pouvait pas crawler et où il croyait qu'il y avait des pages.
Du jour où je l'ai autorisé à visiter ce répertoire : tout est parti correctement...

C'est une "bête machine", souvent le duplicate c'est de notre faute

[Megachercheur]

celles qui n'apparaissent pas, se sont souvent celles là en duplicate content.

Oui c'est ce que je me dis. En fait c'était à la grande époque où le PR toolbar donnait des frissons OK je me casse !

J'avais supprimé des pages de ce site, mais pour ne pas "perdre le PR" (que celui qui n'a jamais pensé à faire ça me jette la première pierre ) j'avais mis des pages 100% identiques ("Ici très bientôt, blabla"). Vu d'aujourd'hui, c'est complètement idiot mais bon.

Mais ça fait vraiment longtemps (plus d'un an) que j'ai supprimé ces pages vides, et visiblement le père Google a encore ces saletés dans son index. Or comment les supprimer (par erreur 410 ou robots.txt) si je ne connais pas les noms de ces pages En fait je suis condamné à attendre qu'il tire la conclusion, en voyant les erreurs 404, qu'il n'y a plus RIEN. Et ça dure, ça dure...