robots.txt pas l'air d'être prise en compte par GG...

[dubstyle]

Bonjour tout le monde,

N'ayant pas réussi à comprendre pourquoi mon fichier robots.txt n'est pas (totalement) pris en compte par GG, je fais appel à votre savoir sur le sujet...

Le problème :
GG m'indexe des fichiers .swf (tout seul), une page webmail, et surtout la page d'accès à l'admin du site bien que mon fichier robots.txt lui indique de ne pas indexer ces pages/fichiers
Je me suis dit que ça venait du fait que le Googlebot met un peu de temps à passer mais non, il passe en moyenne entre 3 à 8 fois par jour (il est même déjà passé 28 fois en une journée )....

le site en question : -http://www.partytime.fr

Je m'en remet à votre bienfaisance ... merci

[jeanluc]

Bonjour,

L'adresse d'une page peut apparaître dans les résultats sans que la page ne soit visitée par Google. C'est peut-être ce qui se passe pour les .swf et les pages d'admin. C'est conforme au Protocole d'Exclusion des Robots qui interdit les accès à une adresse, mais pas la mention de celle-ci dans des résultats de recherche ou ailleurs.

Pour webmail, je remplacerais Disallow: /webmail.php$ par Disallow: /webmail.php.

Jean-Luc

[dubstyle]

merci pour l'info...

[buscoperro]

Au fait, à quoi sert en théorie le "$" ??? j'avais jamais vu ça dans un robots.txt

[jeanluc]

Bonjour,

Tu as raison. L'emploi des caractères * et $ n'est pas conforme au Protocole d'Exclusion des Robots qui définit le format du fichier robots.txt.

Il s'agit d'une extension acceptée par Googlebot et msnbot. Cette syntaxe ne devrait être utilisée qu'après un User-agent: Googlebot ou un User-agent: msnbot.

Jean-Luc