Interdire certains robots ? Comment ? Quels robots ?
4 messages • Page 1 sur 1
Consultez la formation URL Rewriting et sites dynamiques de WebRankInfo / Ranking Metrics
- curieuxmann
- WRInaute discret

- Messages: 94
- Inscription: Dim Nov 23, 2003 17:34
Interdire certains robots ? Comment ? Quels robots ?
Bonjour,
J'ai lu l'article de Dan Hetzel concernant le fichier .htaccess, et en particulier la partie "Débarrassons-nous des visiteurs indésirables"
Tou d'abord, je me demande si au lieu d'utiliser une RewriteCond, on ne peut pas simplement mettre un "Deny from" pour faire cela ? Oui ou Non ?
Par expemple afin de se débarrasser du robot laurion, on ne peut pas aussi écrire :
?
Ou bien il vaut mieux utiliser cette écriture bien plus compliquée (enfin surtout le RewriteRule ^.*$ - [F]) :
?
De plus, la dernière ligne "RewriteRule ^.*$ - [F]" est obligatoire ?
Dernière question, à part le robot de laurion, quels robots faudrait-il systématiquement aussi inclure dans ces interditions de visite ?
J'ai lu l'article de Dan Hetzel concernant le fichier .htaccess, et en particulier la partie "Débarrassons-nous des visiteurs indésirables"
Tou d'abord, je me demande si au lieu d'utiliser une RewriteCond, on ne peut pas simplement mettre un "Deny from" pour faire cela ? Oui ou Non ?
Par expemple afin de se débarrasser du robot laurion, on ne peut pas aussi écrire :
- Code: Tout sélectionner
Deny from \.laurion\.(com|net)
?
Ou bien il vaut mieux utiliser cette écriture bien plus compliquée (enfin surtout le RewriteRule ^.*$ - [F]) :
- Code: Tout sélectionner
RewriteEngine on
RewriteCond %{REMOTE_HOST} \.laurion\.(com|net)$
RewriteRule ^.*$ - [F]
?
De plus, la dernière ligne "RewriteRule ^.*$ - [F]" est obligatoire ?
Dernière question, à part le robot de laurion, quels robots faudrait-il systématiquement aussi inclure dans ces interditions de visite ?
A chaque fois que cela est possible, il faut utiliser des solutions autres que le rewriting. Par exemple, un deny sera obligatoirement plus rapide.
Le rewriting, c'est amusant, mais il faut garder à l'esprit que le simple fait de le mettre en route est pénalisant en terme de rapidité. Il me semble être utilisé un peu à toutes les sauces actuellement.
Bon, ce n'est que mon humble avis, je ne veux pas avoir l'air de donner des leçons...
Chacun fait comme il veut, c'est aussi ça l'internet...
Le rewriting, c'est amusant, mais il faut garder à l'esprit que le simple fait de le mettre en route est pénalisant en terme de rapidité. Il me semble être utilisé un peu à toutes les sauces actuellement.
Bon, ce n'est que mon humble avis, je ne veux pas avoir l'air de donner des leçons...
Chacun fait comme il veut, c'est aussi ça l'internet...
- curieuxmann
- WRInaute discret

- Messages: 94
- Inscription: Dim Nov 23, 2003 17:34
Bonsoir,
Et voici ma dernière question :
Voici ci-dessous le contenu de mon fichier .htaccess destiné à être placé dans le répertoire racine de mon site, mais avant de le télécharger, j'aimerais savoir si la syntaxe est bonne (surtout la deuxième ligne) :
Et puis y-at'il un autre robot connu à interdire ?
Et pour être sûr : le première ligne sert juste à empêcher le listage des répertoires, et non l'indexation par Google
Merci baucoup.
Et voici ma dernière question :
Voici ci-dessous le contenu de mon fichier .htaccess destiné à être placé dans le répertoire racine de mon site, mais avant de le télécharger, j'aimerais savoir si la syntaxe est bonne (surtout la deuxième ligne) :
- Code: Tout sélectionner
Options -Indexes
Deny from \.laurion\.(com|net)
ErrorDocument 404 /erreur404.html
ErrorDocument 403 /erreur403.html
Et puis y-at'il un autre robot connu à interdire ?
Et pour être sûr : le première ligne sert juste à empêcher le listage des répertoires, et non l'indexation par Google
Merci baucoup.
4 messages • Page 1 sur 1
Formation recommandée sur ce thème :
Formation URL Rewriting et sites dynamiques : apprenez comment mettre en place la réécriture d'URL, comment optimiser vos URL et profiter de vos pages dynamiques pour booster votre référencement. Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.
Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.
Lectures recommandées sur ce thème :
- La balise meta NOYDIR de Yahoo
- Petit changement pour Slurp (le robot de Yahoo)
- Sortie de GoogleStats v2.01
- Les crawlers de Yahoo!
- Outil officiel de suppression de pages de l'index Google
- Robots.txt : Yahoo supporte les options avancées
- Les robots MSNbot de Live Search
- Déclarer son fichier sitemap dans le fichier robots.txt
- Google crawle les fichiers CSS
- Comment gérer simplement les sitemaps de plusieurs sites au même endroit
- Faut-il interdire certains robots ?
- robots.txt : interdire tout sauf la racine
- interdire un dossier sans htaccess no robots.txt ?
- Quels sont ces robots ?
- Interdire le passage des robots avec googlestats
- Interdire tous les robots sauf quelques uns
- Robots.txt : interdire une partie de mon site
- robots.txt et url rewriting sur phpbb interdire profil
- robots.txt et balise meta robots, incompatibilité ?
- interdire l'accès aux "mauvais" robots
- Robots utiles et robots inutiles
- Comment distinguer les robots des visiteurs ?
- Comment faire en sorte que les robots me visitent
- Passge des robots, comment les déclencher?
- Erreurs Robots.txt sans fichier Robots.txt
Consultez la description détaillée des produits ou services de Google suivants : Google Feed Fetcher
Qui est en ligne
Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités



le forum