Indexation de pages qui n'existent pas (Google "lit" le Javascript !!!)

[cedric_g]

Bonjour

Petit soucis rencontré sur le CMS e-commerce Prestashop, avec son système de stats intégrées... Et en réalité, je pense que c'est plus du ressort de Google, qui ingère des URLs qu'il ne devrait pas !

Je vois effectivement apparaître des URL en erreur HTTP 404 dans les Google Webmaster Tools, qui n'existent pas ou tout du moins, qui ne "devraient pas" être crawlées, du type :

Code: Tout sélectionner

www.lesite.com/k7EmSXMxKU=3X02px8z28=oIgf2W8P2gI=u5T/NHIAX1Q=

En effet, quand je dis "ne devraient pas être crawlées" c'est que ces URLs n'existent PAS dans le code, mais sont la résultante d'un code Javascript qui envoie un token crypté pour les statistiques internes du site !

En clair, Google "suit" la requête HTTP Post envoyée en JS (c'est en tout cas mon analyse !)

Exemple de code inclus par Prestashop :

Code: Tout sélectionner

<script type="text/javascript">
  var time_start;
  $(window).load(
        function() {
          time_start = new Date();
        }
  );
  $(window).unload(
        function() {
          var time_end = new Date();
          var pagetime = new Object;
          pagetime.type = "pagetime";
          pagetime.token = "uXA4nSAFkrE=wgNekXfW3OU=tarGSiTEyVE=pYPHWRBs/Is=";
          pagetime.time = time_end-time_start;
          $.post("http://www.lesite.com/statistics.php", pagetime);
        }
  );
</script>


C'est le SEUL endroit où l'on retrouve ce type de "chaîne encryptée", répondant toujours à la même structure (avec les signes "=" au milieu), c'est donc à mon sens bien la source du problème !

Cela concerne toutes les boutiques que je gère, en v1.1, 1.2 et 1.3...


Même si on ne s'en sert pas beaucoup, le module de stats peut apporter des indications intéressantes en complément de Google Analytics, j'aimerais donc éviter de m'en passer totalement (pour le moment je l'ai désactivé).

Comme on ne peut pas interdire via le robots.txt des modèles d'URL, je ne vois vraiment pas comment faire

Une idée ?

Et si j'interdisais au bot Google les URL répondant à ce schéma via le htaccess ? J'aimerais éviter de faire une ânerie, ce sont des sites en production

[mipc]

ça fait un temps que google suit et comprends le JScript olivier(pas moi l'autre) Duffez en avait parler ici y a plus d'un ans, me semble!!!

[cedric_g]

Oui mais bon, entre lire une URL dans le JS et suivre une requête HTTP Post et en déduire l'URL appelée, y'a quand même un monde !

Et d'ailleurs je trouve nase que Google suive ce type d'URL, utilisée pour l'essentiel pour les envois de données (souvent sécurisés !)

[milkiway]

Sur ce coup Cedric, on le sait effectivement depuis quelques temps.
Il faut déporter le JS et l'interdire de crawl.

[spout]

Il lit même le JS eval/unescape: http://forum.webrankinfo.com/google-javascript-eval-unescape-t120159.html

[zeb]

Si ça continu avec google on va bientot devoir mettre un htaccess sur la porte des toilettes des fois qu'il passe au moment ou il faut pas.

[UsagiYojimbo]

J'ai eu le même problème sur un Prestashop. Du coup, j'ai désactivé l'ensemble des modules de stat du CMS (de mémoire).

[cedric_g]

OK

Bon ben je savais qu'il lisait le JS mais pas à ce point

Sur ce coup je ne peux pas externaliser le JS dans la mesure où il est généré dynamiquement. Je désactive les stats et basta !

Pénible Google...

[lambi521]

Pénible Google...

J'ai envie de dire... TU M'ETONNES ! (cf Le Petit Journal )

Avant je faisait mes sites pour plaire (à moi) et aux visiteurs, maintenant je fais les sites pour plaire aux visiteurs mais SURTOUT à Google et ça, ça me gonfle royal (non non pas ségolène...)

[milkiway]

OK

Bon ben je savais qu'il lisait le JS mais pas à ce point :x

Sur ce coup je ne peux pas externaliser le JS dans la mesure où il est généré dynamiquement. Je désactive les stats et basta !

Pénible Google...

Rassure toi en te disant que sur Magento, c'est pire...