Cette syntaxe de robots.txt est-elle correcte ?

WRInaute occasionnel
Bonjour,

J'ai plusieurs erreurs qui sortent dans les GWT et qui concernent les dossier d'un forum, à savoir des url de type :

forums/shared_files/uploaded/1194/
forums/shared_files/uploaded/1340/
forums/shared_files/uploaded/1029/
forums/shared_files/uploaded/992/
forums/shared_files/uploaded/869/
forums/shared_files/uploaded/909/
etc...

J'ai interdit l'accès au robot à ces dossiers avec la syantaxe suivante :

Disallow: /forums/shared_files/uploaded/

Mais ces pages sont toujours présentes dans mes GWT...
Pouvez vous me confirmer que cette syntaxe est correcte (avec User-agent: *)?

Merci
 
Olivier Duffez (admin)
Membre du personnel
interdire le crawl n'interdit pas l'indexation !
donc si les documents étaient déjà indexés, interdire leur accès ne fait qu'empêcher leur mise à jour

par contre dans ton cas, tout étant dans un même répertoire, tu peux aller faire une demande de désindexation via GWT
 
WRInaute occasionnel
Merci pour cette réponse, la syntaxe est-elle néanmoins correcte ?

Par ailleurs pour supprimer le rep complet dois je indiquer dans l'url à supprimer :

forums/shared_files/uploaded/
ou plutot
www.monsite.com/forums/shared_files/uploaded/
 
WRInaute occasionnel
Ok merci et si je veux supprimer un grand nombre d'url de type (Il s'agit d'articles d'une boutique) :

/vente/articleRef123456.html
/vente/articleRef12313.html
/vente/articleRef45648.html
/vente/articleRef45949.html

Si dans l'outil de suppression d'url je renseigne
-http://www.example.com/vente/
va-t-il prendre en compte toutes ces url ou pas ?
 
Discussions similaires
Haut