Bloquer des urls via un robots.txt ... est ce un problème ?

[webmaster87]

Bonjour,

Je bloque plusieurs centaines de pages de mon site a l'aide d'un fichier robots.txt, j'ai mis cela en place afin de lutter contre le duplicate content.

Dans mon Google Wemaster Tools, cela apparait comme un problème ...

Exploration du Web
URL à accès restreint par un fichier robots.txt
J'ai un panneau "Attention" 1243 détails


Diagnostic > Exploration du Web > j'ai le détail plus "Problème détecté le ..."

Donc cela apparait comme un Problème...

Pensez vous qu'il faut que je trouve une solution contre ca ?

[jeanluc]

Google n'explique pas clairement les choses. Il ne s'agit pas d'un problème puisque c'est en connaissance de cause que tu interdis l'accès à Googlebot. Ce n'est donc pas un message d'erreur, tout au plus un avertissement pour le cas où tu ne serais pas au courant que Google n'a pas accès à ces pages.

Jean-Luc

[Leonick]

Ca peut être un problème si tu as, dans ton sitemap, des liens qui sont bloqués par robots.txt et c'est pourquoi gg t'affiche cette info

[webmaster87]

Merci pour vos réponses.

Je n'ai pas d'erreur ou de problème dans la ligne :

"Erreurs rencontrées pour les URL répertoriées dans les sitemaps"

Il faut que je trouve ou Google accède a ces urls et si le nombre augmente.