Empécher Google de référencer certaines parties du site

Nouveau WRInaute
Salut à tous et félicitations pour ce site et ce forum bien interessant.

Depuis Septembre, mon site à un page rank attribué par google et grâce à robotstats, j'ai pu constater que google faisait des visites régulières sur le site. Depuis début novembre, google a indéxé près de 2500 pages, je suis content.

Seul hic, les pages indexées par Google ne sont pas toutes utiles, loin de là. Le site comporte en effet un espace membre et il n'y a pas lieu de l'indéxer.

J'ai donc créer un fichier robots.txt pour lui indiquer de ne pas indéxer cette partie du site. Seul problème, il continue.

Je viens de me rendre compte que dans ma balise meta, j'ai :
Code:
<META name="robots" content="all">

Je me pose donc une question : est-ce que la balise meta prend l'ascendant sur mon fichier robot.txt ?
 
WRInaute impliqué
effectivement la solution est le fichier robots.txt + dans chaque page a ne pas referencer la balise meta avec content="no index,no follow"
 
Nouveau WRInaute
Sauf que je ne peux pas modifier la balise robot sur chaque page.

Mais normalement, si je vire cette balise robot et que je fais un robots.txt "propre", ça devrait marcher non ?
 
WRInaute impliqué
En théorie oui, mais la désindéxation des pages sera peut être plus lente si tu ne force pas avec la balise meta
 
WRInaute passionné
Cette meta-la et rien, c'est pareil. Donc il se peut que la virer ne change rien (ou si, gagner des octets et faire apparaitre une mise a jour ^^).
 
WRInaute accro
latruffe a dit:
Sauf que je ne peux pas modifier la balise robot sur chaque page.

Mais normalement, si je vire cette balise robot et que je fais un robots.txt "propre", ça devrait marcher non ?

Voir https://www.google.be/intl/fr/webmasters/3.html :

B. Je souhaite retirer certaines informations de l'index Google.
=> 2. Je ne souhaite pas que Google stocke une version en cache de mes pages.
=> 3. Je ne souhaite pas que Google explore certaines pages (ou l'ensemble de mon site).
=> 7. Googlebot ne respecte pas les instructions de mon fichier robots.txt.

Jean-Luc
 
Discussions similaires
Haut