GoogleBot boude mon site sauf la page d'accueil

[thierrymangin]

Boujour à tous,

Je ne comprend pas trop, je viens d'installer le script robotstats depuis une semaine environ et je m'appercois que google passe tout les jours vers les 5h30 du matin uniquement sur ma page d'accueil et puis repart. Alors que d'autre moteur tel que yahoo ou msn passe sur plusieur de mes pages

Est ce que quelqu'un a une idée

[olivieri]

Il ya quand même quelque chose de très bizzare sur ton site et je me demande comment les robots interprètent ...

http://www.alalucarne.com/robots.txt

redirigé vers une page 404 améliorée

[thierrymangin]

normal je n'ai pas de page robot.txt donc une erreur 404

j'ai pas bien compris le but du fichier robot.txt si ce n'ai d'interdir l'acces à une parti du site au robot. hors je n'ai rien à leur interdire sauf peu etre le répertoir de robotstats

[olivieri]

je penses qu'il vaudrait quand même mieux placer un fichier robots.txt avec le contenu autorisant la lecture, sauf éventuellement le dossier robotstats.
Je n'ai plus la syntaxe sous la main, mais une recherche dans gg te la donnera.

[thierrymangin]

Voila qui est fait. j'espère que ca va décoincer google.