Interdire certains robots ? Comment ? Quels robots ?
4 messages
• Page 1 sur 1
Consultez la formation URL Rewriting et sites dynamiques de WebRankInfo / Ranking Metrics
- curieuxmann
- WRInaute discret

- Messages: 94
- Inscription: 23 Nov 2003
Interdire certains robots ? Comment ? Quels robots ?
Bonjour,
J'ai lu l'article de Dan Hetzel concernant le fichier .htaccess, et en particulier la partie "Débarrassons-nous des visiteurs indésirables"
Tou d'abord, je me demande si au lieu d'utiliser une RewriteCond, on ne peut pas simplement mettre un "Deny from" pour faire cela ? Oui ou Non ?
Par expemple afin de se débarrasser du robot laurion, on ne peut pas aussi écrire :
?
Ou bien il vaut mieux utiliser cette écriture bien plus compliquée (enfin surtout le RewriteRule ^.*$ - [F]) :
?
De plus, la dernière ligne "RewriteRule ^.*$ - [F]" est obligatoire ?
Dernière question, à part le robot de laurion, quels robots faudrait-il systématiquement aussi inclure dans ces interditions de visite ?
J'ai lu l'article de Dan Hetzel concernant le fichier .htaccess, et en particulier la partie "Débarrassons-nous des visiteurs indésirables"
Tou d'abord, je me demande si au lieu d'utiliser une RewriteCond, on ne peut pas simplement mettre un "Deny from" pour faire cela ? Oui ou Non ?
Par expemple afin de se débarrasser du robot laurion, on ne peut pas aussi écrire :
- Code: Tout sélectionner
Deny from \.laurion\.(com|net)
?
Ou bien il vaut mieux utiliser cette écriture bien plus compliquée (enfin surtout le RewriteRule ^.*$ - [F]) :
- Code: Tout sélectionner
RewriteEngine on
RewriteCond %{REMOTE_HOST} \.laurion\.(com|net)$
RewriteRule ^.*$ - [F]
?
De plus, la dernière ligne "RewriteRule ^.*$ - [F]" est obligatoire ?
Dernière question, à part le robot de laurion, quels robots faudrait-il systématiquement aussi inclure dans ces interditions de visite ?
-

Remi L. - WRInaute passionné

- Messages: 1063
- Inscription: 6 Sep 2003
A chaque fois que cela est possible, il faut utiliser des solutions autres que le rewriting. Par exemple, un deny sera obligatoirement plus rapide.
Le rewriting, c'est amusant, mais il faut garder à l'esprit que le simple fait de le mettre en route est pénalisant en terme de rapidité. Il me semble être utilisé un peu à toutes les sauces actuellement.
Bon, ce n'est que mon humble avis, je ne veux pas avoir l'air de donner des leçons...
Chacun fait comme il veut, c'est aussi ça l'internet...
Le rewriting, c'est amusant, mais il faut garder à l'esprit que le simple fait de le mettre en route est pénalisant en terme de rapidité. Il me semble être utilisé un peu à toutes les sauces actuellement.
Bon, ce n'est que mon humble avis, je ne veux pas avoir l'air de donner des leçons...
Chacun fait comme il veut, c'est aussi ça l'internet...
- curieuxmann
- WRInaute discret

- Messages: 94
- Inscription: 23 Nov 2003
Bonsoir,
Et voici ma dernière question :
Voici ci-dessous le contenu de mon fichier .htaccess destiné à être placé dans le répertoire racine de mon site, mais avant de le télécharger, j'aimerais savoir si la syntaxe est bonne (surtout la deuxième ligne) :
Et puis y-at'il un autre robot connu à interdire ?
Et pour être sûr : le première ligne sert juste à empêcher le listage des répertoires, et non l'indexation par Google
Merci baucoup.
Et voici ma dernière question :
Voici ci-dessous le contenu de mon fichier .htaccess destiné à être placé dans le répertoire racine de mon site, mais avant de le télécharger, j'aimerais savoir si la syntaxe est bonne (surtout la deuxième ligne) :
- Code: Tout sélectionner
Options -Indexes
Deny from \.laurion\.(com|net)
ErrorDocument 404 /erreur404.html
ErrorDocument 403 /erreur403.html
Et puis y-at'il un autre robot connu à interdire ?
Et pour être sûr : le première ligne sert juste à empêcher le listage des répertoires, et non l'indexation par Google
Merci baucoup.
4 messages
• Page 1 sur 1
Formation recommandée sur ce thème :
Formation URL Rewriting et sites dynamiques : apprenez comment mettre en place la réécriture d'URL, comment optimiser vos URL et profiter de vos pages dynamiques pour booster votre référencement. Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.
Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.
Lectures recommandées sur ce thème :
- Interdire l'acces au fichier Robots
- Faut-il interdire certains robots ?
- Interdire aspirateur et bot via le robots.txt
- Quels sont ces robots ?
- Robots.txt interdire une url dynamique
- robots.txt : interdire tout sauf la racine
- interdire un dossier sans htaccess no robots.txt ?
- Interdire le passage des robots avec googlestats
- Interdire des pages dynamiques dans robots.txt
- Interdire tous les robots sauf quelques uns
- La balise meta NOYDIR de Yahoo
- Petit changement pour Slurp (le robot de Yahoo)
- Comment indiquer une URL canonique dans l'entête HTTP
- Sortie de GoogleStats v2.01
- Les crawlers de Yahoo!
- Robots.txt : Yahoo supporte les options avancées
- Les robots MSNbot de Live Search
- Outil officiel de suppression de pages de l'index Google
Consultez la description détaillée des produits ou services de Google suivants : Google Feed Fetcher
Qui est en ligne
Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités
