Interdire certains robots ? Comment ? Quels robots ?

Consultez la formation URL Rewriting et sites dynamiques de WebRankInfo / Ranking Metrics

curieuxmann
WRInaute discret
WRInaute discret
 
Messages: 94
Inscription: 23 Nov 2003

Interdire certains robots ? Comment ? Quels robots ?

Message le Mar Déc 16, 2003 9:50

Bonjour,

J'ai lu l'article de Dan Hetzel concernant le fichier .htaccess, et en particulier la partie "Débarrassons-nous des visiteurs indésirables"

Tou d'abord, je me demande si au lieu d'utiliser une RewriteCond, on ne peut pas simplement mettre un "Deny from" pour faire cela ? Oui ou Non ?

Par expemple afin de se débarrasser du robot laurion, on ne peut pas aussi écrire :

Code: Tout sélectionner
Deny from \.laurion\.(com|net)


?

Ou bien il vaut mieux utiliser cette écriture bien plus compliquée (enfin surtout le RewriteRule ^.*$ - [F]) :

Code: Tout sélectionner
RewriteEngine on
RewriteCond %{REMOTE_HOST} \.laurion\.(com|net)$
RewriteRule ^.*$ - [F]



?

De plus, la dernière ligne "RewriteRule ^.*$ - [F]" est obligatoire ?


Dernière question, à part le robot de laurion, quels robots faudrait-il systématiquement aussi inclure dans ces interditions de visite ?


Remi L.
WRInaute passionné
WRInaute passionné
 
Messages: 1063
Inscription: 6 Sep 2003

Message le Mar Déc 16, 2003 14:39

A chaque fois que cela est possible, il faut utiliser des solutions autres que le rewriting. Par exemple, un deny sera obligatoirement plus rapide.

Le rewriting, c'est amusant, mais il faut garder à l'esprit que le simple fait de le mettre en route est pénalisant en terme de rapidité. Il me semble être utilisé un peu à toutes les sauces actuellement.
Bon, ce n'est que mon humble avis, je ne veux pas avoir l'air de donner des leçons... :wink:
Chacun fait comme il veut, c'est aussi ça l'internet...

curieuxmann
WRInaute discret
WRInaute discret
 
Messages: 94
Inscription: 23 Nov 2003

Message le Mar Déc 16, 2003 17:59

Bonsoir,

Et voici ma dernière question :


Voici ci-dessous le contenu de mon fichier .htaccess destiné à être placé dans le répertoire racine de mon site, mais avant de le télécharger, j'aimerais savoir si la syntaxe est bonne (surtout la deuxième ligne) :

Code: Tout sélectionner
Options -Indexes
Deny from \.laurion\.(com|net)
ErrorDocument 404 /erreur404.html
ErrorDocument 403 /erreur403.html



Et puis y-at'il un autre robot connu à interdire ?


Et pour être sûr : le première ligne sert juste à empêcher le listage des répertoires, et non l'indexation par Google :? :?


Merci baucoup.


Remi L.
WRInaute passionné
WRInaute passionné
 
Messages: 1063
Inscription: 6 Sep 2003

Message le Mar Déc 16, 2003 18:24

curieuxmann a écrit:Et pour être sûr : le première ligne sert juste à empêcher le listage des répertoires, et non l'indexation par Google :? :?


Oui, ne t'inquiète pas :)


Si vous avez aimé cette discussion, partagez-la sur vos réseaux sociaux préférés :

Formation recommandée sur ce thème :

Formation URL Rewriting et sites dynamiques : apprenez comment mettre en place la réécriture d'URL, comment optimiser vos URL et profiter de vos pages dynamiques pour booster votre référencement. Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :



Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités