URL avec noindex, bloquée par le robots.txt mais dans l'index google !

[jojohit]

Bonsoir,

Pour que les pages de faible qualité de mon site ne soit pas indexées par Google ; j'ai mis en place la balise <meta name="robots" content="noindex, follow"> et j'ai bloqué l'url dans le fichier robots.txt. L'url est bien bloquée par ce fichier lorsque j'effectue un test dans le GWT.

Pourtant, en faisant une recherche dans Google avec inurl, l'url apparait bien.

Aurai-je loupé quelque chose ? Car là, je ne comprends vraiment pas pourquoi cette url est indexée.

[UsagiYojimbo]

Tu as mis tout ça en place APRES ou AVANT que la page soit indexée ?

[jojohit]

Avant. A moins de Google l'indexe quelque temps avant de la désindexer complètement.

[UsagiYojimbo]

Tu as d'autres url dans ce cas, ou uniquement celle-là ? Pour une url, tu peux en demander la suppression via GWT

[jojohit]

Oui, plusieurs dizaines... Et comme je n'ai pas envie de toutes les taper dans l'outil de suppression d'URL du GWT, quelle est maintenant la meilleure solution ?

Est-ce que le fait de bloquer l'url dans le robots.txt l'empêche de lire la balise meta noindex ?

Une page indexée avec la balise meta noindex sera-t-elle automatiquement désindexée dans le temps par Google ?

[Tigerfou]

Bonjour,

Si ta page est interdite au crawl par robots.txt comment veux-tu que google voie ton meta robot noindex ?
Il faut l'enlever du robots.txt.

Problème déjà abordé ici : http://forum.webrankinfo.com/page-recherche-php-indexee-malgre-noindex-t148390.html

[jojohit]

Au départ, je n'avais que la meta no index en place et je m'amusais à supprimer plusieurs dizaines d'url via le GWT.

En fait c'est la même forme d'url avec simplement une variable qui change.

J'avais modifié ce week-end mon robots.txt pour bloquer cette forme d'url, ayant au préalable supprimé manuellement via le GWT toutes les urls indexées.

Comme par hasard, après de nouvelles publications sur mon site et la modification du robots.txt, les urls associées à ces nouvelles publications se retrouvent indexées.

je viens de remettre mon robots.txt comme à l'origine pour ne pas générer de conflit avec la meta noindex.

[UsagiYojimbo]

Si c'est juste une histoire de paramètres, tu peux aussi voir à gérer ça finement via GWT.

[jojohit]

Sauf que la majorité mes urls avec variable sont réécrites. Du coup, Google ne semble pas les reconnaitre.
Il me propose simplement comme paramètres les variables et bien distinctes dans les url non réécrites.

[Leonick]

il semblerait que gg se soit rapproché du fonctionnement de feu yahoo : le contenu des url non indexables n'est pas inclus dans l'index, mais les url si, elles apparaissent avec rien en dessous

[Tigerfou]

le contenu des url non indexables n'est pas inclus dans l'index, mais les url si, elles apparaissent avec rien en dessous

Tu veux dire le contenu des url non crawlables.

Petit résumé :

- Utilisation du meta robots noindex SEUL (sans robots.txt) => Google crawl le fichier, voit le noindex et n'affiche pas cette page dans ses résultats de recherche, le fichier n'est pas indexé.

- Utilisation du fichier robots.txt SEUL (sans le meta noindex) => Google ne peut pas crawler le fichier, donc le lire. En revanche rien ne l'empêche de l'indexer, donc s'il arrive à ce fichier par un lien quelconque, il le met dans son index. Puisqu'il ne peut pas lire le contenu du fichier, il n'affichera rien dessous sur ses SERP (pas de title, pas de description, rien).

- Utilisation du fichier robots.txt AVEC meta noindex => il se passe la même chose qu'avec le fichier robots.txt seul, puisque le meta noindex est invisible au robot. Fichier indexé, mais qui n'affiche ni title ni description dans les résultats de google.

Voilà j'espère que ça peut aider

Johann

[jojohit]

Merci, là c'est clair !

[Leonick]

Tu veux dire le contenu des url non crawlables.

oui, quoique, j'ai des doutes

Puisqu'il ne peut pas lire le contenu du fichier, il n'affichera rien dessous sur ses SERP (pas de title, pas de description, rien).

ça dépend, des fois il peut afficher l'ancre trouvé sur un lien vers cette page

[Tigerfou]

ça dépend, des fois il peut afficher l'ancre trouvé sur un lien vers cette page

Exact, j'ai pas vu d'exemple, mais c'est certainement possible. Tu en as observé ?

[Leonick]

oui, mais je n'ai plus ça en tête. Historiquement, c'était y! qui procédait ainsi