Interdire l'acces au fichier Robots

[azperom]

Bonjour,

Je me rends compte que mon fichier robots.txt est référencé sur Google.
Ca me surprend un peu mais bon...

Pensez vous que je devrais l'interdire via robots.txt ou htaccess ?

Merci pour votre aide !

[UsagiYojimbo]

Tu es sûr que tu as bien orthographié le nom du fichier ?

[azperom]

Certain. Je lis sur Google :

User-agent: * Allow: /
www.monsite.com/robots.txt - Traduire cette page
User-agent: * Allow: /

[jeanluc]

Non, tu ne peux pas interdire l'accès à robots.txt avec un fichier .htaccess, ni avec robots.txt lui-même.

Si ton fichier robots.txt n'interdit rien, autant le supprimer purement et simplement.

Jean-Luc

[WebRankInfo]

et si on renvoie un entête noindex via x-robots-tag ? (j'ai jamais testé...), peut-on faire désindexer le robots.txt (tout en autorisant sa consultation bien entendu) ?

[mipc]

avant hier j'ai fais une demande de dés-indexation du robots.txt, notamment parce que cet imbécile de google avait décider de prendre en compte les mots présent dans mon robots.txt, ça a été très rapide pour la dés indexation, on verra bien si les mots on disparut de la liste GWT.

[UsagiYojimbo]

@mipc : il y a des erreurs dans ton robots.txt en même temps...

[mipc]

se robots.txt avait été créer sur GWT donc je sais pas trop, de toute façon je peux aller sur GWT et en refaire un nouveau.