Conseil sur Noindex ou Nofollow

[serpico3]

Hello à tous,

Petite question concernant la structure de mon site et les conséquences sur son indexation :

Certaines rubriques de mon site contiennent en gros 36 000 pages dynamiques.
Là, comme je sens déjà arriver les coups de battons pour le nombre de pages annoncées, je vais essayer de me justifier...

Ces pages donnent une information précise à chaque fois, si j'avais pu les mettre sur une seule page je l'aurais fait, mais cela me parait terriblement compliqué.
Bien entendu, vu la quantité de pages et le peu d'informations qui diffère d'une page à l'autre, Google considère le tout comme du duplicate content.
Jusque là, je n'ai pas de problème, cela m'apparaît logique.

D'autre part, je suis de moins en moins convaincu que ces pages mêmes si elles étaient indexées me rapporteraient un grand nombre de visiteurs.

Le problème est que google continue de visiter ces pages. Il me bouffe donc de la bande passante et ne visite pas d'autres pages plus pertinentes pendant ce temps.

Ma question est donc la suivante : quelle serait la méthode la plus propre pour que google arrête de visiter ces pages ?

Merci d'avance et bon week end à tous !

[webmasterdemonsite]

Ma question est donc la suivante : quelle serait la méthode la plus propre pour que google arrête de visiter ces pages ?

fais un fichier robots.txt et ajoute le code:

Code: Tout sélectionner

Disallow: /unrepertoire/
Disallow: /unautrerepertoire/
Disallow: /unautreunfichier.html


et si tu veux que du contenu ne soit pas indexé:

une balise meta Noindex

voili, voilou...

[serpico3]

Merci de ta réponse !

Il mes reste néanmoins deux soucis :

1) ces pages ne sont pas dans un dossier, mais à la racine du site.
2) mes pages sont réécrites avec une forme du genre : xxx-xxx-1, xxx-xxx-2,...

Dés lors je ne vois pas comment les bloquer via le robots.txt

D'autre part, dans cette montagne de pages, je souhaiterais en conserver 4 ou 5 en lecture des robots.

Je sais je suis chi...

[webmasterdemonsite]

Code: Tout sélectionner

Disallow: /xxx-xxx-1
Disallow: /xxx-xxx-2
Disallow: /xxx-xxx-3
Disallow: /xxx-xxx-4
Disallow: /xxx-xxx-5
Disallow: /xxx-xxx-6
Disallow: /xxx-xxx-7
...
...
...


[serpico3]

Ok, ce n'est même pas le fait de le faire, car les 36 000 lignes seraient assez faciles à générer via Excel par exemple.

Au niveau du fichier, il n'y a pas de limites ? tu penses que cela ne va pas être lourd ?
Juste une question de newby

Merci en tout cas pour tes éléments de réponse !

[webmasterdemonsite]

Au niveau du fichier, il n'y a pas de limites ? tu penses que cela ne va pas être lourd ?

jamais fait autant de disallow...

sinon http://www.robotstxt.org/

peut être rensigne toi sur le <meta name=”robots” content=”noindex, nofollow”>