Empécher Google de référencer certaines parties du site

[latruffe]

Salut à tous et félicitations pour ce site et ce forum bien interessant.

Depuis Septembre, mon site à un page rank attribué par google et grâce à robotstats, j'ai pu constater que google faisait des visites régulières sur le site. Depuis début novembre, google a indéxé près de 2500 pages, je suis content.

Seul hic, les pages indexées par Google ne sont pas toutes utiles, loin de là. Le site comporte en effet un espace membre et il n'y a pas lieu de l'indéxer.

J'ai donc créer un fichier robots.txt pour lui indiquer de ne pas indéxer cette partie du site. Seul problème, il continue.

Je viens de me rendre compte que dans ma balise meta, j'ai :

Code: Tout sélectionner

<META name="robots" content="all">

Je me pose donc une question : est-ce que la balise meta prend l'ascendant sur mon fichier robot.txt ?

[olivieri]

effectivement la solution est le fichier robots.txt + dans chaque page a ne pas referencer la balise meta avec content="no index,no follow"

[latruffe]

Sauf que je ne peux pas modifier la balise robot sur chaque page.

Mais normalement, si je vire cette balise robot et que je fais un robots.txt "propre", ça devrait marcher non ?

[olivieri]

En théorie oui, mais la désindéxation des pages sera peut être plus lente si tu ne force pas avec la balise meta

[niceunef]

Cette meta-la et rien, c'est pareil. Donc il se peut que la virer ne change rien (ou si, gagner des octets et faire apparaitre une mise a jour ^^).

[jeanluc]

Sauf que je ne peux pas modifier la balise robot sur chaque page.

Mais normalement, si je vire cette balise robot et que je fais un robots.txt "propre", ça devrait marcher non ?

Voir http://www.google.be/intl/fr/webmasters/3.html :

B. Je souhaite retirer certaines informations de l'index Google.
=> 2. Je ne souhaite pas que Google stocke une version en cache de mes pages.
=> 3. Je ne souhaite pas que Google explore certaines pages (ou l'ensemble de mon site).
=> 7. Googlebot ne respecte pas les instructions de mon fichier robots.txt.

Jean-Luc