A propos des fichiers robots.txt ...

[bipbip]

Bonjour

Est-il vraiment indispensable de déposer un fichier robots.txt du genre:

Code: Tout sélectionner

# Allow all
User-agent: *
Disallow:


si l' on veut que le bot indexe toutes les pages d' un site ?

Mon site (dont je tairais l' url) n' en avait point et était bien référencé par voila (par google aussi mais çà n' a pas changé). Je me renseigne au sujet de Pompos et vois qu' ils conseillent vivement de mettre un fichier robots.txt pour permettre une bonne indexation d' un site.
Du coup j' en met un, celui cité plus haut.
Je passe sur voila et constate que le moteur a sacqué toutes mes pages (mais a laissé curieusement l' unique page d' accueil de mon site il y a plusieurs mois alors que celui-ci était en totale construction et qu' il n' y avait rien).
Je vais sur leur FAQ et lis ceci:

Le fichier robots.txt interdit aux moteurs de recherche d'indexer vos pages web
Si vous ne voulez pas que les robots visitent votre site, ou bien si vous désirez que votre site soit retiré de la base, il vous suffit de placer un fichier /robots.txt à la racine de votre site.
Le fichier /robots.txt vous permet de spécifier par qui et comment vous autorisez l'indexation de votre page.

à cette adresse: http://www.voila.fr/Informations/Recherche/?Robots

Il y a t' il un lien de cause à effet ?
Je n' ai par ailleur pas constaté d' amélioration dans le référencement de google lié à ce fameux robots.txt, dans quels cas est-ce important de l' inclure ?

Merci d' avance pour vos indications

[hetzeld]

Bonjour,

Il semble que voila n'aime pas la ligne "Disallow:" quand il n'y a pas de répertoire mentionné.
J'ai changé récemment, en mettant la même chose que toi et cela m'a valu d'être purement et simplement retiré de voila

Le mieux est encore un fichier robots.txt avec 2 lignes:
User-agent: *
Disallow: /prive/

si tu veux interdire l'accès au répertoire /prive
Le seul problème, à mon avis, c'est qu'il donne aux hackers une indication quant à l'emplacement de certaines données perso... d'où cible privilégiée.

Dan

[melmoth]

Le seul problème, à mon avis, c'est qu'il donne aux hackers une indication quant à l'emplacement de certaines données perso... d'où cible privilégiée.

Argh, un abus de langage.
Hop, j'y vais de mon petit commentaire.
Le terme correct pour désigner les délinquants dont tu parles est 'cracker' .

"Hacker" est un terme qui désigne les codeurs fous qui font ce qu'est internet, les systèmes d'exploitation etc... Un hacker construit, un cracker détruit.

Utiliser un terme à la place de l'autre est néfaste pour la communauté hacker qui à force se trimbale une image de hors la loi alors qu'il ne s'agit que de passionnés.

Plus d'information par la:

http://www.tuxedo.org/~esr/jargon/html/ ... acker.html

Pour en revenir au problème du répertoire privés.

SI il s'agit d'informations vraiment sensibles, ne pas les mettre sur le web du tout

Sinon, interdire aux robots d'y aller, restreindre l'acces par un .htaccess et surtout, ne permettre l'acces que par ssl.

Baser sa sécurité uniquement sur la discretion n'est pas une bonne idée.

Hop.

[hetzeld]

Bonjour,

Tu as raison, c'est un abus de langage !
C'est d'autant plus c*n que je connais parfaitement la différence entre les deux...

Merci pour ce correctif!

Quand je parle de "données perso", ce n'est bien sûr rien de confidentiel mais des éléments qui ne devraient pas être indexés. J'ai eu le cas avec des "templates" qui, à l'état brut' n'étaient pas vraiment parlants pour l'internaute moyen.
Depuis, j'ai modifié cela.

Tu as tout à fait raison en insistant sur le fait que "cacher n'est pas protéger".

Cordialement,

Dan