probleme avec fichier robots.txt fichier bloquer

[Jeviensderio]

et elles ne peuvent pas être remplacées par des lignes commençant par #. Une ligne vide sert de séparateur obligatoire entre deux groupes de commandes destinées à des robots différents.

Dans la dernière spécification, les lignes blanches sont effectivement admises. Elle ne doivent pas remplacer les commentaires et je ne vois pas qu'elles soient requises entre des groupes.
On peut les séparer par un commentaire si on veut, par une ligne blanche ou rien du tout.

Je ne vois pas non plus qu'on puisse ajouter * à l'agent donc l'erreur doit bien venir de là.

[jeanluc]

Ce que tu appelles "dernière spécification" est un brouillon (draft) de 1997, comme beaucoup de documents techniques sur Internet. Cette version de 1997 de la spécification n'a pas eu beaucoup de succès et le standard de fait est resté la spécification publiée par le même auteur (Martijn Koster) en 1994.

Par exemple, si on considère Google, dans Comment utiliser un fichier robots.txt pour contrôler l'accès à mon site ?, on trouve un lien de référence vers la spécification de robots.txt utilisée par Google et elle date bien de 1994. Soit dit en passant, l'emploi de "Allow:" dans la spécification de 1997 est différent de celui préconisé par Google.

Pour ce qui est de l'astérisque à la fin du user agent, voir Centre d'assistance AdSense - Comment autoriser l'accès à votre robot d'exploration.

Jean-Luc

[Jeviensderio]

Pour ce qui est de l'astérisque à la fin du user agent, voir Centre d'assistance AdSense - Comment autoriser l'accès à votre robot d'exploration.
Jean-Luc

Justement, le standard de 1994 n'en parle pas.
Donc je pense que le mieux est de tester avec tous les moteurs de recherche et d'en tirer un standard de fait. Quand j'aurai le temps...