Fraicheur des crawls images de exalead ?

[Leonick]

les différents services de Thumbshots ne font pas ces erreurs.

[Leonick]

Bon, j'ai réussi à résoudre ce problème de pages 404.
Comme visiblement le bot ne sais pas tenir compte des directives du robots.txt

Code: Tout sélectionner

User-agent: *
Disallow: /images*


je lui ai gentillement demandé de ne plus crawler les images, et là, ça marche

Code: Tout sélectionner

RewriteCond %{HTTP_USER_AGENT} Exabot-Thumbnails
RewriteRule (jpg|gif|png) - [F,L]