Crawl bizarre...

**le Ven Jan 04, 2008 1:13**

Salut, cesite est en train de crawler mon site comme un fou, vous savez de quoi il s'agit :?:

(pas domainet**ls bien sûr)

-http://whois.domaintools.com/page-store.com

:?:

**le Ven Jan 04, 2008 1:27**

**le Ven Jan 04, 2008 1:40**

Mais en anglais oui ...

(c'est pas mon point fort :oops:

)

**le Ven Jan 04, 2008 1:42**

A première vue, ce robot n'est pas capital mais il consomme, bloque-le avec ton robots.txt

Un blogueur dit même l'avoir bloqué sur le firewall de son serveur.

**le Ven Jan 04, 2008 10:49**

Ok, ce doit être le mieux

Formation recommandée sur ce thème :