Crawl de Google erreur 404

**le Ven Juil 07, 2006 12:10**

je dois pas avoir de bol, il est pas accéssible de chez moi là encore ^^

**le Ven Juil 07, 2006 13:14**

vincenzoR a écrit:J'ai vérifié dans mes logs, il semble que les robots essayent d'accéder au fichier robots.txt, lequel n'est pas présent

Tout robot qui se respecte essaie régulièrement de lire robots.txt. Si le fichier n'existe pas, ça donne une erreur 404. C'est parfaitement normal.

En fait, tu as trouvé toi-même la réponse à ta question.

Jean-Luc

**le Ven Juil 07, 2006 13:29**

+1 Jean Luc,

Vincenzor pour te rassurer sur la dispo de ton site chez moi j'accède.

A+

**le Ven Juil 07, 2006 15:05**

Je vais attendre avec le robots.txt en place, on va voir ce que ça donne.

Merci beaucoup pour vos infos.

**le Lun Juil 10, 2006 10:49**

Et bien voilà, ça fonctionne beaucoup mieux comme ça, GoogleBot a carwlé toutes les pages de mon site.

Alexa a fait 160 visites, Yahoo, Ask Jeeves, FindLinks, MSN, Exabot et SurveyBot

C'était donc le couple site_map au lieu de sitemap et pas de robots.txt.

Merci à tous, à suivre si vous le souhaitez

Crawl de Google erreur 404

Formation recommandée sur ce thème :

Lectures recommandées sur ce thème :

Qui est en ligne