Google ne lit-il pas mon fichier robots.txt ?

vgeslin · 8 Décembre 2014

Bonjour à tous,

J'ai crée un site sur Wordpress. A sa mise en ligne, je n'avais pas supprimé les pages natives de mon thème, que Google a crawlé et indexé. J'ai de suite modifié mon fichier robots.txt et demandé via GWT la suppression des pages indésirables. Dans mon interface GWT, la ligne "pages bloquées par le fichier robots" affiche 0 et l'indexation continue.

J'ai l'impression que mon fichier robots.txt n'est pas lu par Google. Tous les tests du fichier sont bons, il est à la racine. Pourquoi GWT n'affiche-t-il pas de pages bloquées ?

http://www.cash-and-collect.fr/robots.txt

Merci si vous avez une piste..

WebRankInfo · 8 Décembre 2014

quel bazar ce robots.txt ! espérons que tu le nettoies une fois toutes tes demandes de suppression terminées.
ça donne quoi dans GWT comme résultat quand tu testes dans l'outil du robots.txt si Google peut accéder à une des URL ?

vgeslin · 8 Décembre 2014

WebRankInfo a dit:
quel bazar ce robots.txt ! espérons que tu le nettoies une fois toutes tes demandes de suppression terminées.
ça donne quoi dans GWT comme résultat quand tu testes dans l'outil du robots.txt si Google peut accéder à une des URL ?

Les URLs sont bien bloquées lorsque je teste sur GWT.
GWT m'a fait une nouvelle indexation il y a 2 jours : dans les stats il n'y a aucune page bloquée, il indexe 90 pages alors que mon site n'en a vraiment que 15, il n'indexe pas les nouvelles pages. je me demande s'il lit mon page-sitemap.xml et mon robots.txt ...

WebRankInfo · 8 Décembre 2014

Google a peut-être indexé des URL à une époque, et ne peut plus aujourd'hui les désindexer car elles sont bloquées dans le robots.txt

Proposer des URL dans un sitemap c'est bien, mais ce n'est pas le seul moyen pour Google de découvrir et indexer des URL...

vgeslin · 16 Décembre 2014

WebRankInfo a dit:
Google a peut-être indexé des URL à une époque, et ne peut plus aujourd'hui les désindexer car elles sont bloquées dans le robots.txt

Proposer des URL dans un sitemap c'est bien, mais ce n'est pas le seul moyen pour Google de découvrir et indexer des URL...

Elles sont bloquées mais ce sont des 404 que j'ai également demandé à Google de supprimer dans GWT, pourquoi reviennent-elles ? Comment les pages de mon thème peuvent-elles tout le temps revenir. Mon sitemap est modifié : http://www.cash-and-collect.fr/sitemap.xml Voyez-vous d'autre chose à faire ?