phpbb, urlrw et robots.txt

**le Jeu Jan 08, 2004 22:01**

Bonsoir,
pourquoi faut-il, lorsqu'on a url rewrité son forum, ajouter un fichier robots.txt contenant
Disallow: /forum/sutra*.html$
Disallow: /forum/ptopic*.html$
Disallow: /forum/ntopic*.html$
Disallow: /forum/ftopic*asc*.html$

je ne comprends pas. L'auteur de ce post disait que cela evitait les doubles scan de GG et donc, des 'pénalités'...

Je ne suis pas un expert de robots.txt, mais il me semble que cela va carrement interdire l'indexation des pages non ?
On a bientot fini avec ce sujet... je concocte une bible en ce moment pour url rwter son phpbb...

**le Jeu Jan 08, 2004 22:22**

C'est ce que je mets ici: http://www.webrankinfo.com/forums/topic ... 801_45.htm

Ce fichier robots.txt est foireux pour 2 raisons:

1) le "*" dans les instructions DISALLOW, c'est pas autorisé
2) le disallow porte sur les "belles adresses" et non les normales qui ont été rewritées!!

Donc en résumé ce fichier fout tout le boulot en l'air car il interdit l'accès aux bonnes URL et laisse l'accès aux autres URL...

Il faudrait le transformer donc selon moi

En attendant, je l'ai viré mais c'est vrai que c'est gênant car il est nécessaire pour éviter d'être pénalisé pour contenu identique sur 2 adresses différentes...

**le Jeu Jan 08, 2004 23:02**

quelqu'un sait-il comment le transformer?
est-il certain que l'on soit pénalisé pour deux urls avec le meme contenu ? je n'en suis pas sur...

**le Ven Jan 09, 2004 3:18**

pas penalisé mais ca dilue inutilement ton PR

**le Ven Jan 09, 2004 7:10**

ok c'est compris.
et comment faire donc ?

phpbb, urlrw et robots.txt

phpbb, urlrw et robots.txt

Formation recommandée sur ce thème :

Lectures recommandées sur ce thème :

Qui est en ligne