Ras le bol ! Bloquer le crawling des fichiers Css et Javascript à Google

WRInaute impliqué
Bonjour,
Je trouve que Google devient trop intrusif à ce rythme il permettra aux internautes la consultation du contenu de nos sites à partir de son moteur :
Un spécialiste peut-il me dire si ces deux lignes dans le fichier .htaccess vont faire le job ? et suffisant
merci

Code:
RewriteEngine On
 RewriteBase /

RewriteCond %{HTTP_USER_AGENT} Googlebot
 RewriteRule \.(css|js)$ http://www.monsite.net [QSA,R=301,L]
 
WRInaute impliqué
loubet a dit:
j'utiliserais plutôt un robots.txt pour faire cela.

Déjà fait, Disallow: /*.js, mais l'expérience m'a montrer que ce n'est pas toujours respecté par le tout puissant qui fait ce qu'il veut, donc je renforce, d'un point de vue technique je ne bloque pas mes JavaScripts !

on est d'accord là-dessus ou pas, quelqu'un à un avis !
 
WRInaute impliqué
Google préconise de laisser l'accès aux JS et CSS car sinon il ne peut pas générer un aperçu complet de la page et peut éventuellement pénaliser celle ci, puisqu'il ne sait pas si au final le contenu du fichier HTML est affiché/masqué ...

Une très mauvaise idée à mon avis.
 
WRInaute accro
Quand on regarde les 2 sites que t'as dans l'annuaire WRI, les CSS sont servis en text/html. Rien d'étonnant :roll:
 
Membre Honoré
Bonjour,

Il semble que dudo a fait les changements sur les sites (testé sur quelques CSS d'un site).
N'hésitez pas à indiquer si c'est bien fait et remercier Spout pour le problème text/html.

Cordialement.
 
WRInaute passionné
Ya pas que Google qui respecte pas les consignes robots.txt . Pour ma part, je viens de tous les bloquer par l'entête du serveur de gestion de mes comptes qui etait de plus en plus chargé par les crawlers.
Je crois que le pire est yahoo, suivi de bing qui lui t'envoie des rafales de crawl.
Bref.
 
Discussions similaires
Haut