Mon fichier robots.txt est ok?

[informatruc]

Bonsoir,

Tout est dans le titre. J'aimerai savoir si mon fichier robots.txt est ok? il est la surtout pour PHPbb, le voici:

User-agent:  *
Disallow: /forum/viewtopic.php 
Disallow: /forum/viewforum.php 
Disallow: /forum/memberlist.php 
Disallow: /forum/login.php 
Disallow: /forum/faq.php 
Disallow: /forum/modcp.php 
Disallow: /forum/posting.php 
Disallow: /forum/privmsg.php 
Disallow: /forum/search.php 
Disallow: /forum/viewonline.php 
Disallow: /forum/profile.php 
Disallow: /forum/groupcp.php 
Disallow: /forum/stopic 
Disallow: /forum/ntopic 
Disallow: /forum/ptopic 
Disallow: /forum/sutra 
Disallow: /forum/mforum
Disallow: /annuaire/index.php

Merci.

 

[cybervince]

Disallow: /forum/stopic*
Disallow: /forum/ntopic*
Disallow: /forum/ptopic*
Disallow: /forum/sutra*
Disallow: /forum/mforum*

Je rajouterai des * personnellement.

 

[jeanluc]

Bonjour,

Dans robots.txt :

Disallow: /forum/stopic

veut dire "accès interdit à toutes les adresses qui commencent par /forum/stopic".

Disallow: /forum/stopic*

veut dire "accès interdit à toutes les adresses qui commencent par /forum/stopic*", ce qui n'est probablement pas le but.

Jean-Luc

 

[thickparasite]

Peut-être rajouter ça en haut du fichier pour permettre à tous les autres de passer

User-agent:  *
Disallow:

Tu peux aussi interdire les robots spammeurs

User-agent: Pompos
Disallow: /

User-agent: TurnitinBot
Disallow: / 

User-agent: ConveraCrawler
Disallow: /

User-agent: QuepasaCreep 
Disallow: / 

User-agent: Jetbot 
Disallow: /

Petit bémol avec Pompos qui passe outre le robots.txt, donc il faut passer par le .htaccess avec

order allow,deny
deny from 212.27.41
allow from all

212.27.41 est l'IP de Pompos

 

[informatruc]

Disallow: /forum/stopic*
Disallow: /forum/ntopic*
Disallow: /forum/ptopic*
Disallow: /forum/sutra*
Disallow: /forum/mforum*

Je rajouterai des * personnellement.

:roll: N'importe quoi...

veut dire "accès interdit à toutes les adresses qui commencent par /forum/stopic".

Donc les extensions sont inutiles?

 

[boussole]

Une question peut-on faire ca ??

Disallow: index.php?cat=*
Disallow: index.php?cat=*& p=*&sort=nom&by=ASC

* etant une variable donc eliminant tous les urls ayant une variable, ou alors en utilisant le .htaccess.
Ce systeme peut-il marcher pour eliminer les pages ???

Merci

 

[jeanluc]

Bonjour boussole,

* n'a aucune fonction spéciale dans le robots.txt. Si tu veux interdire l'accès à tout ce qui commence par index.php?cat=, tu écris :

Disallow: /index.php?cat=

Jean-Luc

 

[sebyin]

tu peux tester ton fichier robots.txt dans google sitemap
Les * ne sont pas appréciés (j'en ai fait l'essai), et les urls seront quand même lu si tu mets ce genre d'extension...
Aparemment google n'accepte pas non plus plus de 1000 caractères au total...
A essayer en tout cas pour voir l'utilité de son robots.txt