Google indexe robots.txt

[lunicrea]

Un grand merci (en retard) à tous pour vos réponses !

De rien

D'ailleurs ça m'a permis de vérifier mon code et effectivement mon robots.txt a bel et bien disparu des SERPs comme convenu !

[zeb]

ça veut dire qu'il faut gérer le fichier robots.txt par un script serveur qui rajoute l'entête HTTP ? et donc faire de la réécriture d'URL du fichier robots.txt ?

Pas forcement de la réécriture mais le faire interpréter par php.

AddType x-mapp-php5 .txt

ce qui permet au passage de le compresser de lui donner une limite de validité avec le cache etc ... et effectivement de cloaker pour éviter (par exemple) que qui que ce soit a part les moteurs puisse "deviner" la structure du site.

[WebRankInfo]

En effet c'est une autre façon, mais ça fait interpréter tous les .txt par PHP, pas seulement le robots.txt