Interdire des pages dynamiques dans robots.txt

[Galdon]

Bonjour,

En regardant mes logs, je me suis aperçu que Googlebot explore énormément de pages (plusieurs centaines/jour, presque un millier) sans intérêt sur mon forum phpBB, comme la liste des membres.

Voici un échantillon des URL visitées :

/memberlist.php?sk=c&sd=d&first_char=j&first_char=
/memberlist.php?sk=c&sd=d&first_char=f&first_char=n
/memberlist.php?sk=c&sd=d&first_char=j&first_char=z
/memberlist.php?sk=c&sd=d&first_char&mode=searchuser&start=500
/memberlist.php?sk=m&sd=d&mode=searchuser&start=500
/memberlist.php?sk=c&sd=d&first_char=l&first_char=w
/memberlist.php?mode=searchuser&start=675&sk=a&sd=d&first_char
/memberlist.php?sk=c&sd=d&first_char=k&first_char=m
/memberlist.php?sk=d&sd=d&mode=searchuser&start=500
/memberlist.php?sk=a&sd=d&first_char&start=400

Je souhaite interdire ces pages aux robots avec le fichier robots.txt.

A ma connaissance, la règle Disallow ne permet d'exclure que des repertoires ou des fichiers spécifiques.

Dans mon cas, il n'y a pas d'URL précise puisque memberlist.php est une page dynamique qui prend pas mal de paramètres GET donc ça fait un nombre d'URL différentes monstrueux.

Et ce que si je mets ce code dans robots.txt ça va marcher, peu importe les paramètres en URL :

Code: Tout sélectionner

User-agent: *
Disallow: /memberlist.php

?

Merci

[YoyoS]

Oui tout à fait. Il ignorera complètement tout URI qui commence par "/memberlist.php"

Tu peux même être plus précis, si tu ne veux pas désindexer la page sans paramètres avec Disallow: /memberlist.php?

[Galdon]

Ok, merci beaucoup pour ces précisions.