Robots.txt et site multilingue

Nouveau WRInaute
Bonjour WRI,

J'ai une petite question concernant le robots.txt et la commande :

Disallow: /*?

Dans le cas d'un site multilingue qui gère les pages françaises avec ?lang=fr (la version anglaise ne demande pas de variable), est-ce pertinent de garder Disallow: /*? ?

Merci d'avance,
 
Olivier Duffez (admin)
Membre du personnel
J'ai du mal à comprendre ce que tu veux faire... Si tu laisses cette ligne, les URL des pages en français ne seront pas crawlées !
 
Nouveau WRInaute
Je suis bien d'accord sur ce point.

Ma crainte est plutôt que certaines url avec des variables php un peu crade type ndd.fr/?pateencroute ou autre puissent l'être...
 
Olivier Duffez (admin)
Membre du personnel
et alors ? si ces URL doivent être indexées, il faut bien qu'elles soient crawlées
bref, je ne vois pas pourquoi mettre cette ligne
 
Discussions similaires
Haut