Troncature pour un fichier robots.txt

[luxe-campagne]

Peut on avoir opérateur de troncature pour un fichier robots.txt ?

Par exemple, après avoir fait une réécriture d'urls, on veut interdire aux robots de visiter les pages commençant par un point d'interrogation.

[jeanluc]

La syntaxe standard du fichier robots.txt est un peu particulière. Elle ne connaît pas d'opérateur de troncature, mais elle interprète toute commande "Disallow:" comme étant une interdiction de lire les pages dont l'URL commence par les caractères spécifiés.

Donc :

Code: Tout sélectionner

User-agent: *
Disallow: /secret


Ce fichier interdit l'accès à /secret, à /secret/golf.html, à /secret2/chut.php?bof=123, à /secretement,...

Et :

Code: Tout sélectionner

User-agent: *
Disallow: /?


Ce fichier interdit l'accès à toute URL commençant par un point d'interrogation.

Jean-Luc

[Bubber]

Je suppose que tu parlais d'une restriction d'URL du type :

Disallow: www.domaine.fr/index.php?

Oui tu peux tout à fait interdire l'accès à ce genre d'URL.
Google et les autres comprendront très bien que tu veux interdire l'indexation des URL contenant "www.domaine.fr/index.php?"

Ceci dit, pour tester ton robots.txt, il existe la solution de la section Outils pour Webmasters de Google

EDIT : bon bin j'ai été devancé