Robots txt et interdiction depage rewriitées

[curumo]

Bonsoir, je ne sais pas si je suis dans le bon forum mais j'ai cherché à faire au mieux...

Bon voilà j'utilise un url rewritting pour un forum phpbb... Celui ci utilise dans cet htacess :

Code: Tout sélectionner

RewriteEngine On
RewriteCond %{HTTP_HOST} !^www.aratars.org$
RewriteRule ^(.*)   http://www.aratars.org/$1  [QSA,L,R=301]
RewriteRule ^forums.* index.php
RewriteRule ^mforum([0-9]*).* viewforum.php?f=$1&mark=topics
RewriteRule ^viewforum([0-9]*)-([0-9]*)-([0-9]*).* viewforum.php?f=$1&topicdays=$2&start=$3
RewriteRule ^forum([0-9]*).* viewforum.php?f=$1
RewriteRule ^ptopic([0-9]*).* viewtopic.php?t=$1&view=previous
RewriteRule ^ntopic([0-9]*).* viewtopic.php?t=$1&view=next
RewriteRule ^stopic([0-9]*)-([0-9]*).* viewtopic.php?t=$1&watch=topic&start=$2
RewriteRule ^utopic([0-9]*)-([0-9]*).* viewtopic.php?t=$1&unwatch=topic&start=$2
RewriteRule ^ftopic([0-9]*)-([0-9]*)-([a-zA-Z]*)-([0-9]*).* viewtopic.php?t=$1&postdays=$2&postorder=$3&start=$4
RewriteRule ^ftopic([0-9]*)-([0-9]*).* viewtopic.php?t=$1&start=$2
RewriteRule ^ftopic([0-9]*).* viewtopic.php?t=$1
RewriteRule ^ftopic([0-9]*).html viewtopic.php?t=$1&start=$2&postdays=$3&postorder=$4&highlight=$5
RewriteRule ^setopic_([0-9]*)-([a-zA-Z0-9]*).* viewtopic.php?t=$1&highlight=$2
RewriteRule ^sutra([0-9]*).* viewtopic.php?p=$1
RewriteRule ^newtopic([0-9]*).* viewtopic.php?t=$1&view=newest


Or Google en manque de lien s'est mis en tête de visiter mes pages de profil (interdit) essayer de poster (retiré depuis peu) etc...

Son dernier delire est de cliquer sur les "messages suivants" d'un topic donc ici les liens "ntopic" et "ptopic"

Le seul soucis est que ses fameux liens ne correspondent à rien si ce n'est un même sujet déjà visité... En plus lorsque je cherche à visiter moi le lien (merci robotstats) ca plante. Cela doit être similaire pour ce cher robot

Donc j'ai cherché à modifier mon robtos.txt comme suit :

Code: Tout sélectionner

User-agent: *
Disallow:/login.php
Disallow:/modcp.php
Disallow:/posting.php
Disallow:/privmsg.php
Disallow:/search.php
Disallow:/viewonline.php
Disallow:/profile.php
Disallow:/memberlist.php
Disallow:/faq.php
Disallow:/raccourci.php
Disallow:/statistics.php
Disallow:/ntopic([0-9]*).php
Disallow:/ptopic([0-9]*).php

Seulement MSN ne semble pas franchement perturber par les deux derniers élements...

Comment est-il possible d'interdire toutes les pages en ntopicXXXX.php et ptopicXXXXX.php et cela pour toutes valeurs de X ?!!

D'avance merci parce que là ca depasse de très très loin mes compétences !

[Maze12]

je pense que si tu n'as pas de page rewriter que tu veuilles indexer commencant par /ntopic ou /ptopic tu peux faire:

Disallow:/ntopic*
Disallow:/ptopic*

quelqu'un confirme parce que j'en suis pas certain..

[jeanluc]

Bonjour,

On ne doit pas utiliser d'astérisque (*) dans les directives Disallow concernant tous les user agents (celles qui concernent User-agent: *). L'astérisque y est considérée comme un caractère comme les autres.

Si tu veux interdire l'accès à tout ce qui commence par /ntopic, tu écris :

Code: Tout sélectionner

Disallow: /ntopic

Si tu veux interdire l'accès à tout ce qui commence par /ntopic0, /ntopic1, ..., /ntopic9, tu écris :

Code: Tout sélectionner

Disallow: /ntopic0
Disallow: /ntopic1
Disallow: /ntopic2
Disallow: /ntopic3
Disallow: /ntopic4
Disallow: /ntopic5
Disallow: /ntopic6
Disallow: /ntopic7
Disallow: /ntopic8
Disallow: /ntopic9


Non, ce n'est pas élégant ...

Ce n'est pas compliqué. J'ai mis en ligne un résumé de ce qu'il faut savoir sur robots.txt : http://www.annuaire-info.com/robots/txt.html.

Jean-Luc

[curumo]

OK merci j'étais étonné d'une pareille solution parce que un Disallow :/xxx était je pensais pour des repertoires or ici ceux sont des fichiers