protéger le fichier robots.txt

Consultez la formation URL Rewriting et sites dynamiques de WebRankInfo / Ranking Metrics

Ethancarter
WRInaute discret
WRInaute discret
 
Messages: 77
Inscription: Dim Jan 25, 2004 14:29

protéger le fichier robots.txt

Message le Jeu Mai 20, 2004 22:09

Bonjour,

Afin de protéger mon robots.txt des regards indiscrets, j'ai ajouté la ligne suivante
dans mon .htacess :

RewriteCond %{HTTP_USER_AGENT} Mozilla [NC]
RewriteRule ^robots.txt - [F]

ça fonctionne avec IE : on ne peut plus consulter le fichier.
Est-ce que cela risque de gêner les robots, style googlebot et autres ?

merci

wap
WRInaute passionné
WRInaute passionné
 
Messages: 736
Inscription: Sam Mai 01, 2004 10:34

Re: protéger le fichier robots.txt

Message le Jeu Mai 20, 2004 22:13

Ethancarter a écrit:Afin de protéger mon robots.txt des regards indiscrets, j'ai ajouté la ligne suivante

Simple curiosité, mais pourquoi tu veux le protéger des "regards indiscrets" ? Même la Maison Blanche ne le fait pas ;-)

Ethancarter
WRInaute discret
WRInaute discret
 
Messages: 77
Inscription: Dim Jan 25, 2004 14:29

Message le Jeu Mai 20, 2004 22:44

bah, je sais pas... je pense que c'est plus sûr...
Certains répertoires contiennent des mots de passe non cryptés.

au aujet de la maison blanche -> ils interdisent le référencement de toutes les pages qui ont un rapport avec l'irak ;-)

wap
WRInaute passionné
WRInaute passionné
 
Messages: 736
Inscription: Sam Mai 01, 2004 10:34

Message le Jeu Mai 20, 2004 23:11

Ethancarter a écrit:Certains répertoires contiennent des mots de passe non cryptés.

Ouch ! Voila ce qu'on appelle une _belle_ faille. Tu devrais davantage te soucier de sécuriser ces répertoires (à l'aide de .htaccess par exemple) que ton robots.txt

Tu es conscient que ce n'est pas parce que ton robots.txt sera "caché" que quelqu'un ne pourra pas accéder aux répertoires dont tu parles ? Enfin, ça peut te protéger face à un script kiddie (et encore !) mais face à quelqu'un qui a un minimum de bases... tu cours droit à la catastrophe.

ADBD
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 196
Inscription: Sam Mai 24, 2003 13:12

Message le Jeu Mai 20, 2004 23:24

Et surtout, si ton fichier robots.txt n'est pas accessible par le web, aucun robot ne pourra le lire. Tu peux tout aussi bien le supprimer !


BadProcESs
WRInaute accro
WRInaute accro
 
Messages: 2656
Inscription: Lun Juil 28, 2003 15:58

Message le Jeu Mai 20, 2004 23:57

En outre j'ajouterai que faisant une rule sur l'user agent est aisement contournable sans trop se fatiguer...

Ethancarter
WRInaute discret
WRInaute discret
 
Messages: 77
Inscription: Dim Jan 25, 2004 14:29

Message le Dim Mai 23, 2004 21:30

ADBD a écrit:Et surtout, si ton fichier robots.txt n'est pas accessible par le web, aucun robot ne pourra le lire. Tu peux tout aussi bien le supprimer !


Tu n'as pas lu ma question ! Il n'est pas accessible uniquement avec IE, pour un robot, pas de problèmes...du moins c'est ce que je pense et c'est justement l'objet de ma question..au fait l'a tu lue avant de répondre ? :(

Ethancarter
WRInaute discret
WRInaute discret
 
Messages: 77
Inscription: Dim Jan 25, 2004 14:29

Message le Dim Mai 23, 2004 21:32

wap a écrit:
Ethancarter a écrit:Certains répertoires contiennent des mots de passe non cryptés.

Ouch ! Voila ce qu'on appelle une _belle_ faille. Tu devrais davantage te soucier de sécuriser ces répertoires (à l'aide de .htaccess par exemple) que ton robots.txt

Tu es conscient que ce n'est pas parce que ton robots.txt sera "caché" que quelqu'un ne pourra pas accéder aux répertoires dont tu parles ? Enfin, ça peut te protéger face à un script kiddie (et encore !) mais face à quelqu'un qui a un minimum de bases... tu cours droit à la catastrophe.


Oui, tu as raison. La plupart des dossiers sont protégés mais pas tous. Certains doivent rester accessibles de l'exterieur car ils contiennent des fichiers requis par des SSI.


tawath
WRInaute impliqué
WRInaute impliqué
 
Messages: 289
Inscription: Sam Avr 30, 2005 22:41

Message le Jeu Juin 30, 2005 18:07

Le site de la Mb que du bonheur :lol:


Formation recommandée sur ce thème :

Formation URL Rewriting et sites dynamiques : apprenez comment mettre en place la réécriture d'URL, comment optimiser vos URL et profiter de vos pages dynamiques pour booster votre référencement. Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :

Consultez la description détaillée des produits ou services de Google suivants : Google Feed Fetcher, Google Sitemaps



Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités