A propos du robots.txt et sitemap

WRInaute discret
Bonjour à tous,

je possède un site internet, sur certain mot clé j’étaie dans les premier, maintenant que je teste je le suis pas

j'essaye de comprendre encore pourquoi ...

ma question es celle-çi

j'ai une tonne de page que j'aimerai supprimer de l'indexation de google

mon fichier robots.txt et le suivant

User-agent: *
Allow: /

User-agent: Googlebot
Disallow: /coco-1
Disallow: /bobo-2
...
Allow: /


içi on comprends que google va pas prendre la page coco-1 et bobo-2

le site est en multilingue j'ai plus au moins 50 pages traduits en néerlandais mais je veux pas que google l'index avec cela je peux empeche l'indexation

User-agent: Googlebot
Disallow: /coco-1
Disallow: /bobo-2
Disallow: /nl
Disallow: /nl/
...
Allow: /

ou je dois faire un part un pour tout les pages

Disallow: /nl/coco-1
Disallow: /nl/coco-2

etc.

Deuxième question le fichier sitemaps si je l'optimise bien
il affichera juste les pages que je veux que ça s'affiche n'est ce pas?
 
Olivier Duffez (admin)
Membre du personnel
la directive Allow ne sert à rien, sauf pour des cas bien particuliers
si tu veux interdire l'accès à tout un répertoire (/nl/ par exemple), tu peux faire Disallow: /nl/
par contre ça bloque le crawl, et non pas l'indexation

si les pages sont déjà indexées, tu peux les faire désindexer en :
1- interdisant le crawl du répertoire
2- puis en demandant la désindexation via GWT

concernant l'autre question, je te conseille de bien lire mon tuto fichier sitemaps
tu verras que Google ne se limite pas à crawler (et encore moins indexer) ce qui est indiqué dans le sitemap
 
WRInaute discret
Merci pour votre réponses

comme je disais en haut, sur certain mot clé j’étaie dans les premiers et plus maintenant

lorsque je me connecte a google webmaster tool

il m'indique ça -http://www.sitenet.be Googlebot ne peut pas accéder à votre site.

ça veux dire quoi?

pensez vous que a cause de ce message je ne suis pas dans les premiers ?

j'ai vu votre tuto, en faite j'utilise wordpress et j'utilise le plugins xml-sitemap generator

pensez vous que si je l'optimise c'est suffisant, ou c'est meilleur de faire sois même avec un fichier text ...
merci
 
WRInaute discret
Quand je clique l'info on me donne ça

Au cours des 24 dernières heures, Googlebot a rencontré 2 erreurs en tentant d'accéder au fichier robots.txt. Pour éviter d'explorer les pages répertoriées dans ce fichier, nous avons reporté notre exploration. Le taux d'erreurs liées au fichier robots.txt à l'échelle de votre site est de 100.0 %.

Vous trouverez davantage d'informations détaillées sur ces erreurs dans les Outils pour les webmasters.

Pensez vous que ce format pour le robots.txt et mauvais

User-agent: *
Allow: /

User-agent: Googlebot
Disallow: /coco
Disallow: /bobo
Disallow: /toto
Disallow: /lolo
Disallow: /nono
Disallow: /body-auto
Allow: /
 
Discussions similaires
Haut