La solution pour désindexer le fichier robots.txt

[jd440]

Bonjour à tous,

J'ai eu la surprise de découvrir que mon fichier robots.txt était indexé?
Surprenant? non?

Est ce normal, ou il y a t il un moyen d'empecher l'indexation?

 

[loubet]

Re: robot.txt indexé

s'il y a un lien vers le fichier, il n'y a pas de raison qu'il ne soit pas indexé.

 

[M&B Multimédia]

Re: robot.txt indexé

Ça arrive parfois.

Il y a deux solutions connues pour remédier au "problème" :

- Ajoutant la ligne "Disallow: /robots.txt" directement dans le fichier robots.txt et retirer le fichier de l'index via GWT
- Utiliser l'en-tête HTTP "X-Robots-Tag" avec "noindex" via le fichier .htaccess

Le solution n°1 est la plus courante, et ça n'empêche pas Google de lire le contenu du fichier robots.txt.

 

[jd440]

Re: robot.txt indexé

Merci

en rajoutant cela dans l'htacces?

<FilesMatch "robots.txt">
Header set X-Robots-Tag "noindex, noarchive"
</Files>

 

[indigene]

Re: robot.txt indexé

<filesMatch "robots\.txt$">
  Header set X-Robots-Tag "noindex"
</filesMatch>

Sans demander la désindexation via GWT la désindexation s'est effectuée en 3 mois, donc ça fonctionne bien