Normal ou pas ?

[chitopila]

Bonjour,

J'ai créé un .htaccess redirigeant les visiteurs vers une page d'erreur 404 personalisée.
Il n'y a biensur aucun lien pointant vers cette page dans mon site et pourtant, les robots la visitent assez souvent.
(cf exemple illustré -http://www.photos-voyages.com/images/wri.gif)

Est-ce normal ?

[berberber]

Peut etre que tu as des liens morts, ou des pages qui n'existent plus et qui étaient indexées, donc les robots se retrouvent sur cette page, pense à y faire un lien vers ta page d'acceuil.

[chitopila]

Oui, tu me confirmes donc que ce n'est pas normal, les robots ne sont pas censés visiter cette page ! J'ai pourtant testé tous mes liens à l'aide de mon éditeur html et il n'y a pas de lien mort ! C'est pour ça que je ne comprends pas bien pourquoi les robots vont sur cette page d'erreur.
Si quelqu'un a une idée ?

[berberber]

et tu n'as jamais supprimé de pages ou changé le nom de l'une d'elles ?

[chitopila]

Si effectivement, j'ai récemment changé le nom de quelques pages mais dans le dossier Afriquedusud et non pas à la racine du site. Et pourtant ce robot n'est pas allé farfouiller dans ce dossier.

[berberber]

en tout cas c'est une explication plausible je trouve

[DAVID86]

fais une redirection en header (301) vers les nouvelles url
et tu n'auras plus ce genre de crawl
ou biens vérifie que le code retourné au robot est bien 404
(sinon, il la considère comme une page normale)
Romain

[Remi L.]

Regarde tes logs.
Qu'un robot lise ta page 404 à la suite d'une erreur est tout à fait normal.
Si un robot lit ta page 404 avec un code retour 200, tu as un problème de configuration qqpart.

[DAVID86]

on peut aussi le voir dans robotstat