ApocalX Now - fichier robots.txt à tous vents !

[Claudie]

Bonjour à tous!

En parcourant les pages du site Enfin.fr je suis tombée sur le moteur de recherche ApocalX Now http://www.apocalx.com/now/ et j'ai été stupéfiée de voir qu'ils donnaient accès par un lien "Informations" se trouvant dans la description de mon site, à mon fichier robots.txt !!!

Je ne sais pas ce que qu'il faut en penser, mais il me semble que ce genre de diffusion ne devrait pas être permise. Un robots.txt est destiné aux crawlers, mais pas à être publié à tout va! Est-ce que quelqu'un pourrait me dire si cela constitue un risque ou si c'est normal ?

[George Abitbol]

Euh... C'est pas un mystère, hein, il suffit de faire tonsite.com/robots.txt pour y avoir accès. Exemple sur ce site même :
http://www.webrankinfo.com/robots.txt

Fred

[Claudie]

Non, c 'est pas un mystère. Mais dans ce cas, il faut faire l'effort de chercher, alors que dans ApocalX Now, il n'y a qu'à cliquer sur un lien ...

Bon, peut-être que je m'effraie pour un rien, mais j'ai eu dernièrement la visite d'un hacker sur mon site qui a déniché une page qui aurait pu modifier toute ma base de données alors que ce script est protégé par mot de passe. Résultat : j'ai protégé la page d'avantage et changé le mot de passe. Je deviens un peu parano ...

[Claudie]

Epique !!!

J'ai écrit à l'adresse de contact d'ApocalX Now pour le dire que ça ne me plaisait pas et mon serveur messagerie m'a retourné ceci :

Hi. This is the qmail-send program at mx1.ovh.net.
I'm afraid I wasn't able to deliver your message to the following addresses.
This is a permanent error; I've given up. Sorry it didn't work out.

<news@apocalx.com>:
user does not exist, but will deliver to /home/vpopmail/domains/2/z/apocalx.com/webmaster/Maildir/
user is over quota
user is over quota, mail bounced

C'est qund même étrange pour un moteur de recherche !!!

[mahefarivony]

euh, que ca te plaise ou non ca ne changera pas grand chose : ce n'est qu'un fichier .txt comme les autres et donc accessible depuis n'importe quel navigateur. Pas besoin d'etre pirate pour le savoir.

[Claudie]

Ca m'embête, mais bon, puisque c'est normal, le sujet est clos.
Merci à tous de vos réponses

[David@site]

qu'un pirate trouve une de tes page sensible en lisant un robots.txt ca s'est pas normal, qu'est-ce que tu as mis sur ton robot.txt?
ce qui est sensible doit etre proteger! si tu utlises le serveur Apache un .htaccess suffira et les pirates ne sont pas pret de le braquer.

[Claudie]

qu'un pirate trouve une de tes page sensible en lisant un robots.txt

Le pirate n'a pas trouvé la page sensible à l'aide d'un fichier robots.txt Ce que je sais, c'est qu'il travaillait pour une société qui vend des "sécurités" pour les sites web. Il a bel et bien trouvé une page qui était normalement sécurisée, page qui permettait de modifier les données d'accès à ma db pour un programme que j'utilise sur mon site. Comment il a fait, mystère, mais sûrement pas à l'aide d'un fichier robots.txt. Il m'a dit avoir pu atteindre cette page en partant du formulaire d'inscription (c'est un programme de newsletter), mais quand on regarde le code source de ce formulaire, absolument rien n'indique un moyen d'accéder à cette page de configuration!!! Cela dit, cette page est maintenant sécurisée par un double accès par mot de passe.

[pinoc]

Bonjour,

Je pense qu'il doit y avoir moyen de cacher le contenu de notre robots.txt...
Quand on regarde celui de micr@s@ft par exemple, il n'y en a pas... louche.... donc ils doivent le protéger... peu via du clo@king !

[mahefarivony]

le robots.txt n'est pas obligatoire. j'en ai jamais crée de ma vie d'ailleurs

[apocalx]

Aie aie aie je me fait encore foudroyer sur place parce que j'ai ajouté une focntionnalité inédite sur mon site! C'est fou ça!

Allez, petit cours sur les robots.txt:
Le fichier robots.txt n'est pas obligatoire. néanmoins il permet aux moteurs de recherche et a certains aspirateurs de sites web de savoir ce qu'ils ne doivent pas indexer. De ce fait, ce fichier doit être visible pour que n'importe quel crawler puisse y avoir accès et l'interprète selon le protocole robots.txt. Bref le robots.txt est un fichier publique!
FAQ sur le robots.txt:
http://www.webrankinfo.com/outils/robots/faq_15_0.htm

Néanmoins, il ne suffit pas de mettre un robots.txt sur son site pour en protéger des partie, cela n'a aucune efficacité. il faut y mettre des mots de passe, via un fichier htaccess par exemple, comme Dan le dit dans son article ici:
http://www.webrankinfo.com/analyses/aut ... iction.php

Pour finir je dirais juste qu'un véritable pirate n'a surement pas besoin de passer par apocalx pour hacker un site ils sont bien plus malins que ça, car après tout si il y a un fichier robots.txt sur un site, il est toujours au même endroit, à la racine, et donc très facile a trouver.

Conclucion: ne surtout pas se fier a un fichier robots.txt pour proteger le contenu de son site, il n'est pas fait pour ça!

[David@site]

Le pirate n'a pas trouvé la page sensible à l'aide d'un fichier robots.txt

en lisant ton post c'est ce que j'avais compris

[Claudie]

C'est vraiment sympa à tous d'avoir éclairé ma lanterne et surtout à ApocalX d'être intervenu sur ce Forum pour répondre à ma question et effacer mes doutes, puisque je ne suis pas arrivée à l'atteindre par Email. Rassurez-vous, ApocalX, mon Email n'était pas incendiaire, il disait seulement que ça ne me plaisait pas de voir ce fichier aussi accessible.

Il est bien certain que les robots.txt ne protègent aucunement les fichiers et qu'ils ne servent qu'à avertir les robots de ne pas indexer certaines pages, afin de ne pas trouver n'importe quoi sur les moteurs de recherche, style : l'adresse d'une image
Ce n'est pas la peine d'encombrer Google ou autres d'adresses qui ne servent à personne ...