Est il utile de mettre sur robots.txt une page 404?

**le Lun Sep 17, 2007 9:25**

Bonjour à tous,

J'ai changé il y'a plusieurs semaines complètement la structure de mon site et avait placé dans mon robots.txt tout un répertoire qui comprenait de nombreuses pages qu'il fallait déréférencer car complétement obsolètes. J'ai mis en même temps sur ces pages une erreur 404 vers la home. Ne pensez vous pas que ça puisse faire doublon? L'erreur 404 n'aurait pas suffit à les retirer??

Merci d'avance

**le Lun Sep 17, 2007 9:50**

En cas de changement je te conseille:
- erreur 404 dans le fichier htaccess renvoyant vers la homepage
- un nouveau plan sitemap
- un fichier robots.txt bloquant les dossiers contenant les fichiers obsolètes.
- un cron sur le serveur qui régénère ton plan sitemap tous les jours
- un fichier xsl qui transforme ton sitemap avec des liens type HTML

N'oublies pas dans le fichier robots.txt de faire le lien vers ton sitemap.xml

Cf. http://www.livres-medicaux.com

**le Lun Sep 17, 2007 10:21**

J'aurais mis plutôt un attribut noindex dans la section head des pages à retirer:

<meta name="robots" content="none">

**le Lun Sep 17, 2007 10:30**

noomba a écrit:En cas de changement je te conseille:
- erreur 404 dans le fichier htaccess renvoyant vers la homepage
- un nouveau plan sitemap
- un fichier robots.txt bloquant les dossiers contenant les fichiers obsolètes.
- un cron sur le serveur qui régénère ton plan sitemap tous les jours
- un fichier xsl qui transforme ton sitemap avec des liens type HTML

N'oublies pas dans le fichier robots.txt de faire le lien vers ton sitemap.xml

Oulà, c'est la grosse artillerie...
À mon avis, tu peux déjà te contenter de gérer les 404 ET d'actualiser ton robots.txt. Pour le reste...

**le Lun Sep 17, 2007 10:53**

noomba a écrit:- un cron sur le serveur qui régénère ton plan sitemap tous les jours

En quoi ça peut être utile ?

**le Lun Sep 17, 2007 12:05**

Merci à tous pour vos réponses.
Autre petite question puisqu'on est dans le sujet.
Au mois de mai dernier, j'avais supprimé un répertoire via les outils webmaster google comprenant pas mal de page qui avaient de plus des liens sur la toile (sur pas mal de forums) . Le contenu a donc été supprimé depuis pas mal de temps, ces anciennes pages supprimées sont désormais redirigées vers la home par une redir 301, est ce OKI ?

Merci bcp

**le Lun Sep 17, 2007 12:26**

davalex a écrit:Le contenu a donc été supprimé depuis pas mal de temps, ces anciennes pages supprimées sont désormais redirigées vers la home par une redir 301, est ce OKI ?

Oui

**le Mar Sep 18, 2007 14:32**

Merci beaucoup

Est il utile de mettre sur robots.txt une page 404?

Est il utile de mettre sur robots.txt une page 404?

Formation recommandée sur ce thème :

Lectures recommandées sur ce thème :

Qui est en ligne