Probleme de MAJ Google malgré un bon robots.txt

[lucasmd]

Bonjour,

Je suis le webmaster du site dealgates.com et j'ai une énigme qui me tracasse la tête depuis quelque temps...

Malgré un fichier robots.txt mis à jour, il y a de cela quatre mois... Je retrouve encore des pages indexées alors qu'elles sont interdites dans le robots.txt...

Explications

Qd je tappe sous google.com :
http://www.google.com/search?q=site:dea ... art=210...,
je vois le repertoire "/browse/" et le fichier browse.php, tous deux listés dans les résultats...

Pourtant, ces deux élèments sont désactivés dans le robots.txt...

Autres choses, j'ai des pages dont le cache n'a pas été mis à jour depuis août 2005
http://66.249.93.104/search?q=cache:Dz5 ... lnk&cd=288

Auriez vous une piste de réflexion pour m'aider à résoudre ce problème ?

PS. Auriez vous l'adresse d'un outil pour vérifier le sandbox d'un site ?

Cordialement
ML

[jeanluc]

Bonjour,

Contrairement à ce qu'on croit parfois, robots.txt n'interdit pas d'indexer des pages. Il interdit aux robots de les visiter, c'est différent.

Depuis que tu as mis Disallow: /browse dans robots.txt, Google ne visite plus les pages dont l'adresse commence par /browse, mais il en conserve une copie plus ancienne dans son index.

Si c'est vraiment gênant, tu peux faire supprimer ces pages en suivant scrupuleusement les instructions de supprimer des informations de l'index Google. Toute suppression restera effective 6 mois quoi qu'il arrive ensuite.

Jean-Luc

[lucasmd]

Re,

Et si je fais disparaitre ces pages physiquement pour que ca donne des erreurs 404...

Le google bot ne va t il pas naturellement désindexer ces pages ?

Cordialement
ML

[finstreet]

Re,

Et si je fais disparaitre ces pages physiquement pour que ca donne des erreurs 404...

Le google bot ne va t il pas naturellement désindexer ces pages ?

Cordialement
ML

si j'ai compris ce qu'a dit Jean Luc... le google bot ne repasse pas sur tes pages, donc il peut pas savoir que tu les a viré

[mx]

bonjour, je possède également un site avec des caches de aout 2005 (c'est mauvais signe), ce site n'est pas aimé de google, les pages n'existant plus, j'ai utilisé leurs outils de suppression manuel en créant un compte chez eux, elles avaient bien disparu, puis réapparu par magie, gg n'en fait qu'a sa tete, et si ton site est dans le même cas que le miens, gg t'as étiqueté, limite blacklist, sans vraiment l'être ...

[lucasmd]

Salut,

Alors je vais vous étonner mais le gogolebot crawl souvent le site :

Robot Google Bot (http://www.google.com/)
User-Agent [View Log] Mediapartners-Google/2.1
Quantity 2598
last visit 26.04.2006 16:46:35
first visit 27.03.2006 03:29:04
----------------------------------------------------------------------
Robot Google Bot (http://www.google.com/)
User-Agent [View Log] Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Quantity 2249
last visit 26.04.2006 16:16:30
first visit 27.03.2006 00:59:50

sous google, site:www.dealgates.com ( 6,930 )
- http://www.google.com/search?hl=en&q=site%-3Awww.dealgates.com&btnG=Google+Search

sous google, site:dealgates.com ( 16,600 )
- http://www.google.com/search?hl=en&lr=& ... tnG=Search

Report for http://www.dealgates.com
domain-pop.com found:
Links 195
Domains 77
IPs 47

more info:
indexed Links indexed websites
Google 86 6670
Yahoo 826 4470
MSN 1448 156

Google PR Links
PR 0 47
PR 1 2
PR 2 7
PR 3 16
PR 4 4
PR 5 1
PR 6 0
PR 7 0
PR 8 0
PR 9 0
PR 10 0

J augmente de jour en jour le nombre de backlinks...
Les pages sont url rewritées...
Les redirections 301 sont faites...

Je pensais que j aurais un meilleur postionnement et rafraichissement sur google avec tt ca

Cordialement
ML