Yahoo autorise les wildcards dans robots.txt

[AW]

Il est maintenant possible d'utiliser les caracteres : * et $ dans robots.txt pour yahoo

Le * est un wildcard, c'est à dire que ça peut etre remplacé par n'importe quel terme, si on reprend l'exemple du blog de yahoo search :

Code: Tout sélectionner

Disallow: /*_print*.html

cette ligne empeche l'accès aux bots à tous fichiers/dossier comprenant _print ou se terminant .html. Par exemple il n'auront pas accès à '/card_print.html' ou '/store_print/product.html'

Le $ sert a marquer la fin d'une l'url, ce code :

Code: Tout sélectionner

Disallow: /*.gif$

Bloque l'accès a tous les fichiers se terminant par .gif sans le $ ça correspondrait à tous les fichiers comprenant .gif

source : http://www.ysearchblog.com

[lothar]

Très intéressant.

Par contre que se passe-t-il si l'on indique

Code: Tout sélectionner

Disallow: /*_print*.html

sans préciser le user-agent du robot Yahoo ?

En clair, ces wildcards poseront-ils problème avec les autres moteurs ?

[Serious]

Du gros n'importe quoi.
Ni compatible avec le standard, ni compatible avec le brouillon RFC, ni compatible avec Google. Il serait peut-etre temps que le W3C se bouge.

[dd32]

lothar> Si tu lis l'adresse que AW a pris soin d'indiquer tu remarqueras ce qui suit :

You can now use '*' in robots directives for Yahoo! Slurp to wildcard match a sequence of characters in your URL. You can use this symbol in any part of the URL string you provide in the robots directive. For example,

User-Agent: Yahoo! Slurp
Allow: /public*/
Disallow: /*_print*.html
Disallow: /*?sessionid

Et donc que le user-agent est précisé

[AW]

il me semble que c'est aussi valable pour googlebot et qu'il comprend les wildcards depuis un bon petit moment

Je confirme : http://www.google.com/support/webmaster ... swer=40367

Et il me semble aussi que pour msn c'est ok

edit : http://search.msn.com/docs/siteowner.as ... Site.htm#B