Interdire certains robots ? Comment ? Quels robots ?

Consultez la formation URL Rewriting et sites dynamiques de WebRankInfo / Ranking Metrics

curieuxmann
WRInaute discret
WRInaute discret
 
Messages: 94
Inscription: Dim Nov 23, 2003 17:34

Interdire certains robots ? Comment ? Quels robots ?

Message le Mar Déc 16, 2003 9:50

Bonjour,

J'ai lu l'article de Dan Hetzel concernant le fichier .htaccess, et en particulier la partie "Débarrassons-nous des visiteurs indésirables"

Tou d'abord, je me demande si au lieu d'utiliser une RewriteCond, on ne peut pas simplement mettre un "Deny from" pour faire cela ? Oui ou Non ?

Par expemple afin de se débarrasser du robot laurion, on ne peut pas aussi écrire :

Code: Tout sélectionner
Deny from \.laurion\.(com|net)


?

Ou bien il vaut mieux utiliser cette écriture bien plus compliquée (enfin surtout le RewriteRule ^.*$ - [F]) :

Code: Tout sélectionner
RewriteEngine on
RewriteCond %{REMOTE_HOST} \.laurion\.(com|net)$
RewriteRule ^.*$ - [F]



?

De plus, la dernière ligne "RewriteRule ^.*$ - [F]" est obligatoire ?


Dernière question, à part le robot de laurion, quels robots faudrait-il systématiquement aussi inclure dans ces interditions de visite ?


Remi L.
WRInaute accro
WRInaute accro
 
Messages: 1062
Inscription: Sam Sep 06, 2003 16:23

Message le Mar Déc 16, 2003 14:39

A chaque fois que cela est possible, il faut utiliser des solutions autres que le rewriting. Par exemple, un deny sera obligatoirement plus rapide.

Le rewriting, c'est amusant, mais il faut garder à l'esprit que le simple fait de le mettre en route est pénalisant en terme de rapidité. Il me semble être utilisé un peu à toutes les sauces actuellement.
Bon, ce n'est que mon humble avis, je ne veux pas avoir l'air de donner des leçons... :wink:
Chacun fait comme il veut, c'est aussi ça l'internet...

curieuxmann
WRInaute discret
WRInaute discret
 
Messages: 94
Inscription: Dim Nov 23, 2003 17:34

Message le Mar Déc 16, 2003 17:59

Bonsoir,

Et voici ma dernière question :


Voici ci-dessous le contenu de mon fichier .htaccess destiné à être placé dans le répertoire racine de mon site, mais avant de le télécharger, j'aimerais savoir si la syntaxe est bonne (surtout la deuxième ligne) :

Code: Tout sélectionner
Options -Indexes
Deny from \.laurion\.(com|net)
ErrorDocument 404 /erreur404.html
ErrorDocument 403 /erreur403.html



Et puis y-at'il un autre robot connu à interdire ?


Et pour être sûr : le première ligne sert juste à empêcher le listage des répertoires, et non l'indexation par Google :? :?


Merci baucoup.


Remi L.
WRInaute accro
WRInaute accro
 
Messages: 1062
Inscription: Sam Sep 06, 2003 16:23

Message le Mar Déc 16, 2003 18:24

curieuxmann a écrit:Et pour être sûr : le première ligne sert juste à empêcher le listage des répertoires, et non l'indexation par Google :? :?


Oui, ne t'inquiète pas :)


Formation recommandée sur ce thème :

Formation URL Rewriting et sites dynamiques : apprenez comment mettre en place la réécriture d'URL, comment optimiser vos URL et profiter de vos pages dynamiques pour booster votre référencement. Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :

Consultez la description détaillée des produits ou services de Google suivants : Google Feed Fetcher



Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités