Robots.txt et SEO

Nouveau WRInaute
Bonjour à tous,

Dans mon robots.txt, j'ai mis en disallow ces éléments :
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes

Lorsque je vais dans Search Console -> Explorer comme Google (onglet exploration) et que je sélectionne une URL.
Entre ce que voit Google Bot et ce que voit l'internaute, il y a une différence.

Google Bot voit mon site comme s'il était cassé (sans CSS / JS) donc pas comme un internaute lambda.
J'aurai voulu savoir si cela était pénalisant pour le SEO ?
 
Nouveau WRInaute
J'avais vu un article avec le "parfait" robots.txt qui préconisait cela.

Je pensais également qu'en bloquant ces éléments, le GoogleBot se concentrerait uniquement sur le contenu contenu et donc que cela serait plus pertinent.
 
WRInaute accro
Parce que c'est faisable autrement et qu'il en faut quand même un pour avoir un code HTTP 200.
 
Nouveau WRInaute
spout a dit:
Parce que c'est faisable autrement et qu'il en faut quand même un pour avoir un code HTTP 200.

Donc tu préconises également d'autoriser l'accès à l'ensemble des fichiers du robot de Google ?
 
WRInaute passionné
Le Disallow: /wp-admin se justifie.

C'est quand même de sécurité qu'il s'agit.
Même si personne n'ignore l'url /wp-admin pour un site wordpres...
 
Nouveau WRInaute
Hello,

Je reviens vers vous car suite à vos conseils, j'ai débloqué, via mon Robots.txt, plusieurs ressources afin que le robot Google y accède.
Cependant, lorsque je me connecte à Search Console et que j'observe les ressources bloqués. Cela ne baisse pas.

Search Console m'indique toujours un grand nombre de page avec des ressources bloquées sur cet hôte.

Est ce normal ?

Combien de temps cela doit mettre ?

Y a t'il un processus pour accélérer cela ?

Merci à tous de vos réponses.
 
Olivier Duffez (admin)
Membre du personnel
il faut que Google crawle les pages concernées, puis qu'il mette à jour Search Console. Je vais compléter mon article avec ces précisions ;-)

pour accélérer les choses, essaie d'envoyer un sitemap exhaustif
 
Discussions similaires
Haut