utilisation de robots.txt pour bloquer les pages dynamiques

[midnightfr]

Bonjour,
Comment est il possible de bloquer les robots sur des pages avec un ? (parametre) pour que google ne les prennent pas comme un contenu dupliqué de mes pages rendues statiques avec de l'url rewriting?

[midnightfr]

Je voulais dire en fait, est il possible d'utiliser des expressions regulieres dans robots.txt?

Merci

[lou]

non mais il suffit de mettre des règles dans ton .htaccess pour que les ? renvoi vers les pages UR avec un code 301

[midnightfr]

Non, ta solution n'est pas bonne, je veux faire cette redirection, ou une autre maniere d'enlever ce paramètre, pour Google et non pas pour tout le monde.
Faire ca dans le .htaccess me le ferait pour tout les internautes.

[jeroen]

Moi pas compendre...
Si tu fais de l'UR, les internautre arriveront par des pages rewritées...
Seuls les moteurs ayant les pages dans leur index tomberont sur le .htaccess ...

Non ??

[Erazor]

Non, ta solution n'est pas bonne, je veux faire cette redirection, ou une autre maniere d'enlever ce paramètre, pour Google et non pas pour tout le monde.
Faire ca dans le .htaccess me le ferait pour tout les internautes.

en gros tu veux montrer une chose différente aux internautes et aux moteurs
tu rentres dans le coté obscur

[iconso]

Comment est il possible de bloquer les robots sur des pages avec un ? (parametre)

Mets le nom de ta page.extension tout court, et toutes les déclinaisons paramétrées ou non seront bloquées. Par exemple une page -http://www.site.com/rep/page.aspx?param1=aaa&param2=bbb peut être bloquée pour les robots quels que soient les paramètres en ajoutant une ligne contenant ceci dans ton robots.txt :

Disallow: /rep/page.aspx

Si tu veux autoriser la page sans paramètre mais bloquer avec, tu peux mettre :

Disallow: /rep/page.aspx?

Fred

[midnightfr]

en gros tu veux montrer une chose différente aux internautes et aux moteurs
Evil or Very Mad tu rentres dans le coté obscur

Non, vous avez pas compris
Je m'explique :

J'ai deja de l'url rewriting en place, les pages php ne sont pas accessible pour personne ca y a pas de pb.
Néanmoins, pour du partenariat, j'ai des urls avec un parametre correspondant au partenaire.
Si google enregistre ces urls( venant de partenaires avec un parametre) elles seront présentes dans l'index, et dans les resultats et ces visites seront attribuées aux partenaires alors que c'est une visite de google,(jusque la vous comprenez?)

Pour l'instant je cache donc ces parametres avec du cloaking.
Je cherche donc un moyen pour ne pas cloaker, de cacher automatiquement n'importe qu'elle url de mon site (pas une page en particulier) qui présente un parametre de type ?partenaire=xx

voila, je pense avoir été plus clair


[/quote]

[Erazor]

j'ai été succint alors précision : j'ai compris ton truc mais "l'enfer est quelques fois pavé de bonnes intentions". Pour moi il est dangereux de ne pas montrer la même chose au moteur / internautes. Dans ton cas ce n'est pas une "triche" mais soit sur que GG va etre d'accord avec ça.J'ai un doute peut etre a tort

[midnightfr]

c'est pour ca que je veux remplacer mon cloaking par une utilisation de robots.txt

[midnightfr]

Est ce que cette syntaxe serait bonne :
User-agent: *
Disallow: *partenaire=*

Pour permettre d'interdire à tous les moteurs de ne pas indexer les pages dont l'url contient partenaire=

Merci
Nicolas

[midnightfr]

svp! aidez moi!

[iconso]

midnightfr : as-tu lu mon message un peu plus haut ???

Fred

[Jeff-44]

Bonsoir
iconso est-ce que ta technique fonctionne pour du php ?
J'ai un système calcul de clique avec des pages du type goto.php?xxx.
Je ne souhaite pas gg et msn (surtout msn qui ne référence que ça ) continue sur ces pages. Sinon je boost les visites de manière non réaliste.
Est-ce que cela suffit :
User-Agent: *
Disallow:goto.php

Merci de vos réponses

[iconso]

Oui, l'exemple était donné en ASPX, mais il est valable pour toutes les extensions de fichiers, et même les débuts d'extension normalement (je n'ai pas testé, mais un disallow: /page.php doit empecher le crawl de /page.php3 par exemple). Ces URLs pourront se trouver dans l'index, mais ne seront ni visitées, ni complètement indexées par GG (et ne pourront donc à priori réagir sur aucun mot clef)

Fred