mis à jours du fichier robots et google

[IVIedia]

Bonjour à tous je travaille sur un site en wordpress,

j'ai crée un document robots.txt, pour bloquer des pages sur google


voici mon fichier :

Code: Tout sélectionner

User-agent: *
Allow: /

User-agent: Googlebot
Disallow: /pages-1
Disallow: /pages-21
Disallow: /fr/pages-4
Disallow: /nl/
Allow: /

Je bloque la pages-1, pages-21, fr/pages-4 et aussi tout le dossier /nl/ ( qui regroupe tout les pages en /nl/pages-98, /nl/pages-80 ...

pouvez vous me dire si c'est bon ?
ça fait deja 3 semaine que j'ai mis a jours ce document robots.txt et je vois toujours ses pages lorsque je tape : site:monsite.com ...

une idée ?

Merci et bonne soiréee

[lambi521]

Tu peux tester ton fichier robots.txt dans Google Webmaster Tools et voir ses effets sur les bots.

Sinon ça m'a l'air bon, mais cela signifie juste à Googlebot de ne plus crawler ces pages. Il faut que tu lui dises de les désindexer, soit en passant par GWT soit en insérant la balise <meta name="robots" content="noindex,follow"> sur tes pages

[IVIedia]

Salut voici après test ...

googlebot :

Autorisé par la ligne 18 : Allow: /
Identifié comme répertoire ; certains fichiers peuvent être soumis à des restrictions différentes.

Googlebot-Mobile :

Autorisé par la ligne 18 : Allow: /
Identifié comme répertoire ; certains fichiers peuvent être soumis à des restrictions différentes.

tout semble normal, mais je vois toujours ses pages dans l'index de google

...

merci

[NickyLarson]

Il faut encore attendre.
Sur certains gros sites de plusieurs milliers de pages, j'ai fais cette procédure et ça peut prendre des mois à Google pour purger son index.