GG index ma page robots.txt !!!!!

[rachatdecredits]

Bonjour chers wristes...

Je suis trés surpris de voir que GG a indexé la page robots.txt de mon site, affiche son contenu !!!

Peut on m'expliquer pourquoi, car je trouve ça un peu bcp dangereux ....

voila ce que gg a affiché parmis le ref nat


User-agent: * Disallow: /repinterdit/
User-agent: * Disallow: /repinterdit/
www.domainedemonsite.fr/robots.txt - En cache - Pages similaires

C'est allucinant il affiche meme le nom du repertoire interdit a la navigation

Merci a tous

[5_legs]

Effectivement c'est étonnant

D'ailleurs il a aussi indexé le sien : http://xewing.com/rgay5dyf
ou par exemple celui de la maison blanche : http://xewing.com/r24j8xd2

Tu dois être célèbre

Blague mise à part c'est effectivement curieux.
Il n'y aurait pas un lien quelque part vers ton robots.txt ?

[rachatdecredits]

Effectivement c'est étonnant

D'ailleurs il a aussi indexé le sien : http://xewing.com/rgay5dyf
ou par exemple celui de la maison blanche : http://xewing.com/r24j8xd2

Tu dois être célèbre

Blague mise à part c'est effectivement curieux.
Il n'y aurait pas un lien quelque part vers ton robots.txt ?

Pas tout compris à la blague

Non non aucun lien, ce serait idiot, c'est contraire au principe...
Je me demande si ça n'a pas de rapport avec les outils de GG webmaster qui merdent et qui ref tous les fichiers présents ???

[WebRankInfo]

au fait, en quoi est-ce un pb ? il s'agit d'un fichier public accessible à tous

[nickargall]

En effet, rien de plus simple que d'aller taper robots.txt à la fin d'un nom de domaine ...

[rachatdecredits]

au fait, en quoi est-ce un pb ? il s'agit d'un fichier public accessible à tous

C'est rare que je pose une question qui invite l'honorable webmaster (olivier) à répondre.

Mode :: Je suis pas peu fier !!!

Sinon, pour en revenir au sujet, j'ai du faire une mauvaise interpretation de l'utilisation du fichier robots.txt.

J'ai cru comprendre que ce fichier permettait d'interdire a GG d'indexer les pages cités (ça c'est ok) et DONC de ne pas indiquer egalement le contenu du fichier permettant de cacher les fichiers cités (et la je me suis trompé).

JE ne sais pas comment faire alors pour eviter que quiconque ne trouve un fichier ou repertoire dans un ref nat.

merci

[5_legs]

au fait, en quoi est-ce un pb ? il s'agit d'un fichier public accessible à tous

Effectivement Olivier ce n'est nullement un problème : on se retrouve avec tellement de curieux qui entrent robots.txt ou sitemap.xml...

Mais ce qui est (à mon sens amusant) c'est de savoir pourquoi ou comment ce fichier est indexé

Après, si on ne veut pas que ses fichiers (ou dossiers) sensibles soient identifiables on fait en sorte de ne pas les afficher là

[jeanluc]

J'ai cru comprendre que ce fichier permettait d'interdire a GG d'indexer les pages cités

Pas exactement. Il permet d'interdire à Google de visiter les pages citées. Il arrive que des pages interdites par robots.txt soient indexées sans avoir été visitées par Googlebot.

Pour être certain qu'une page ne sera pas indexée, il faut que sa visite soit autorisée par robots.txt et qu'elle contienne la balise meta "robots" avec l'option "noindex".

Jean-Luc

[rachatdecredits]

J'ai cru comprendre que ce fichier permettait d'interdire a GG d'indexer les pages cités

Pas exactement. Il permet d'interdire à Google de visiter les pages citées. Il arrive que des pages interdites par robots.txt soient indexées sans avoir été visitées par Googlebot.

Pour être certain qu'une page ne sera pas indexée, il faut que sa visite soit autorisée par robots.txt et qu'elle contienne la balise meta "robots" avec l'option "noindex".

Jean-Luc

Merci jean luc pour cette info.

maintenant cela me pose un pb que gg index mon fichier robots car si quelqu'un le voit, il peut se rendre dans le dit repertoire et visualiser des infos confidentielles? que dois je faire s'il vous plait?

[jeanluc]

Que Google l'indexe ou pas ne change rien. Tape http://www.ton_site.com/robots.txt dans la barre d'adresse de ton navigateur et tu verras ton fichier robots.txt. Croire que ce fichier est un moyen de sécuriser le site est une idée fausse; c'est uniquement un outil pour donner des instructions aux "bons" robots.

Astuce: tu n'es pas obligé d'indiquer le nom de répertoire exact dans robots.txt. Il suffit d'indiquer les premières lettres (et qu'elles ne correspondent pas à un autre répertoire). Exemple: pour interdire /repertoire-top-secret, tu peux écrire:

Code: Tout sélectionner

Disallow /repertoire-to

Jean-Luc

[rachatdecredits]

Super l'astuce, merci beaucoup jeanluc.

Bonne journée