Interdire le ref de certaines pages et redirection

[vitalizo]

BOnjour,

1/ Interdire certaines pages
bon j'avais jamais eu le cas à faire depuis ces années mais je dois interdire certaines pages. Je pensais qu'un Disallow: /dossier dans le robots.txt suffisait mais apparemment non.

Des robots (j'ai reperé yahoo mais je suis sur que ggbot est passé) vont sur ces pages.

Faut savoir également que quelquefois, je mets des liens dofollow direct vers ces pages depuis des pages x (ces dernières étant crawlés par les bots).

C'est ce dofollow qui entraine l'indexation de ces pages ? Le disallow ne suffit donc pas ?

2/ redirection ?
Bon, j'ai encore des bots qui viennent tester certaines pages dont ca fait 2 mois que j'ai changé l'URL. Comme c'était un site tout neuf (juillet), j'ai pas fait de redirection. Je pensais que les bots allaient comprendre mais encore aujourd'hui, ils sont passés sur certaines pages avec l'ancienne url qui renvoie sur des 404. Sachant que le ref n'avait pas encore été véritablement commencé sur ces pages très profondes, la redirection est utile ? ou négligeable ?


Merci

[vitalizo]

petit up du soir

[oliviermercure]

espoir...

Tu ne m'as peut-être pas attendu mais l'outil Google webmaster tools permet, entre autres de faire désindexer certaines URL par Google.

Maintenant je ne sais pas si çà peut résoudre ton problème.

[vitalizo]

Petit up du jour.
Sachant que j'ai pas encore fait le sitemap, n'y a t-il pas un autre moyen.

Gg a du mal avec les disallow /dossier ?

Autrement dit, gg m'a indexé des pages que je veux pas, est ce en rajoutant un:
<meta name="robot" content="noindex, nofollow">
et
User-Agent: *
Disallow: /dossier

gg va progressivement desindexer ces urls ou pas ?

[oliviermercure]

Salut,

Pas besoin d'avoir un sitemap pour désindexer des urls dans Google Webmaster Tools.
Il suffit d'aller dans "Configuration du site" puis" Accès du robot d'exploration" puis "Supprimer l'url" troisième onglet