Urls bloquées sur webmaster tools àcause de robots.txt ?

[caviar]

hello
J'ai un fichier robots.txt configuré sur un wordpress comme ceci mais webmaster tools me dit qu'il ne peut pas explorer certaines urls à cause de cette config. hors je ne comprends pas quelle règle empêche cette indexation
pouvez vous m'aider ?

exemples d'urls bloquées
ma home page
http://xxxx.fr/
http://xxxx.fr/consultation-en-xxxx/
http://xxxx.fr/le-cabinet-de-xxxx/

et le robots.txt

User-agent: *
# On empêche l'indexation des dossiers sensibles
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?
# On empêche l'indexation des fichiers sensibles
User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.gz$
Disallow: /*.swf$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
# Autoriser Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Autoriser Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# On indique au spider le lien vers notre sitemap
 Sitemap: http://xxxxx.fr/sitemap_index.xml

j'ai SEO by yoast comme extension pour le SEO ...
à part ça rien de spécial

merci pour otre aide
++

 

[Madrileño]

Bonjour,

Complément : https://www.webrankinfo.com/dossiers/indexation/20-ans-robots-txt .

N'hésitez pas à vous présenter au forum : ici et entre deux messages présenter vos avis aussi sur les sujets : ici.

Cordialement.

 

[caviar]

bonjour
merci pour la réponse mais j'avais déjà parcouru cette doc.

Ce que je ne comprends pas en fait dans mon cas c'est que le robots.txt me semble correct mais que des pages sont tout de même bloquées ?
c'est là dessus que j'ai besoin de vos avis spécifiques.

merci
:mrgreen:

 

[indigene]

Je le trouve bien compliqué ce robots.txt
Chez moi ça s'arrête à la première ligne.
Et les lignes Disallow: sans rien derrière je me demande si c'est correct
Pourquoi préciser quelque chose si c'est pour dire ensuite : Allow: /*
On peut même se passer des deux lignes car les robots seront autorisés par défaut.

 

[Madrileño]

Bonjour,

merci pour la réponse mais j'avais déjà parcouru cette doc.

Vérifier à nouveau sera utile.

Ce que je ne comprends pas en fait dans mon cas c'est que le robots.txt me semble correct

Trop complexe.

c'est là dessus que j'ai besoin de vos avis spécifiques.

Simplifier le fichier.

Cordialement.

 

[WebRankInfo]

j'ai testé, l'URI / est autorisée au crawl avec ce fichier robots.txt (toi aussi, teste ton robots.txt avec ce tuto)
tu as quelle erreur exacte quand tu demandes une exploration ?

l'URI doit toujours démarrer par un / ce qui n'est pas le cas de toutes tes lignes

l'astérisque n'est pas dans le standard, même si Google les gère.
ça ne sert à rien de mettre /* il suffit de mettre /

le sitemap, autant le déclarer dans Search Console (c'est + discret)

 

[caviar]

hello merci pour toutes vos réponses

en fait ce robots.txt vient d'un modèle trouvé sur un blog dans ce genre http://www.memoinfo.fr/configurer-fichier-robots-txt-wordpress.html (je ne sais plus exactement quel article ...)

L'outil de test de serach console me dit que toutes les pages sont autorisées mais dans la partie sitemap j'avais des messages comme quoi certaines URLS étaient restreintes par robots.txt

j'ai changé le fichier pour quelque chose de plus simple et redéclaré sitemap dans search console.

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-admin
Allow: /wp-content/uploads
Disallow: */trackback
Disallow: /*/feed
Disallow: /*/comments
Disallow: /cgi-bin
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.gz
Disallow: /*.cgi
Allow: /*css?*
Allow: /*js?*

User-agent: Googlebot-Image
Disallow:

User-agent: Mediapartners-Google
Disallow: 

Sitemap: http://xxx.fr/sitemap_index.xml

ça à l'air d'être mieux même si toutes les pages ne sont pas encore indexées... je vais patienter un peu

merci

 

[caviar]

Après quelques tests j'ai viré la ligne
Disallow: /wp-admin

car search console m'indiquait que certaines ressources étaient bloquées dans des pages ... notamment les appels ajax vers wp-admin/admin-ajax.php

vuala vuala
on va voir ce que ça donne

 

[caviar]

Après quelques tests j'ai viré la ligne
Disallow: /wp-admin

car search console m'indiquait que certaines ressources étaient bloquées dans des pages ... notamment les appels ajax vers wp-admin/admin-ajax.php

ce qui donne au final

User-agent: *
Disallow: /wp-login.php
Allow: /wp-content/uploads
Disallow: */trackback
Disallow: /*/feed
Disallow: /*/comments
Disallow: /cgi-bin
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.gz
Disallow: /*.cgi
Allow: /*css?*
Allow: /*js?*
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot-Image
Disallow:

User-agent: Mediapartners-Google
Disallow: 

Sitemap: http://xxxxx.fr/sitemap_index.xml

vuala vuala
on va voir ce que ça donne