Robots.txt - Disallow pour des pages avec paramètre

[biddybulle]

A déplacer dans la bonne rubrique, me suis tromper

Comment désactivé le passage de robots qui parcourait des pages avec toujour le même paramètre du genre

/index/sous_dossier_truc/?parametre=
/index/sous_dossier_bidule/sous_dossier_machin/?parametre=

tout cela par millier

La question est donc : Est ce que cette règle est convenable et s'appliquera sur tous les dossiers et l'arbo du site.

User-Agent: *
Disallow: ?parametre

[Monty973]

Tu peux utiliser ça:

Code: Tout sélectionner

Disallow: /*?

(empêche l'indexation des pages contenant un "?")

Mais ce n'est pas une instruction standard, et il n'y a que GoogleBot qui la reconnaisse.

Ou ça :

Code: Tout sélectionner

Disallow: /*parametre

empêche l'indexation des URL contenant la chaîne "parametre"

Mais c'est pareil, c'est pas standard et je crois que seul GoogleBot en tient compte.

(faudrait demander à Jean-Luc)

[biddybulle]

Merci bon je vais déjà testé avec ceci.

[Amaryllid]

Mais ce n'est pas une instruction standard, et il n'y a que GoogleBot qui la reconnaisse.

Il n'y a pas que Google : avant que GG ne l'adopte il y avait déjà MSN.
-http://www.amaryllidaceae.org/web-jardin/fichier/robots-txt.htm#exp

[Monty973]

Mais ce n'est pas une instruction standard, et il n'y a que GoogleBot qui la reconnaisse.

Il n'y a pas que Google : avant que GG ne l'adopte il y avait déjà MSN.
-http://www.amaryllidaceae.org/web-jardin/fichier/robots-txt.htm#exp

Oui mais MSN permet son utilisation pour empécher l'indexation de fichiers ayant une extension particulière, je ne suis pas sûr que ce type de syntaxe puisse être utilisé de manière aussi large que dans le cas de Google.

Code: Tout sélectionner

User-agent: MSNBot
Disallow: /*.[extension de fichier]$

(le symbole du dollar « $ » est obligatoire)   

User-agent: MSNBot
Disallow: /*.PDF$
Disallow: /*.jpeg$
Disallow: /*.exe$

http://search.msn.fr/docs/siteowner.asp ... ToSite.htm