Crawl bizarre...

[Benoit1]

Salut, cesite est en train de crawler mon site comme un fou, vous savez de quoi il s'agit (pas domainet**ls bien sûr)

-http://whois.domaintools.com/page-store.com

[dd32]

Bonjour,

J'ai trouvé ceci :
http://alan.blog-city.com/pagestore.htm
et aussi ça :
http://break-left.org/blog/?p=247
http://www.csamuel.org/2007/07/22/page-storecom

Mais en anglais

[Benoit1]

Mais en anglais oui ... (c'est pas mon point fort )

[dd32]

A première vue, ce robot n'est pas capital mais il consomme, bloque-le avec ton robots.txt
Un blogueur dit même l'avoir bloqué sur le firewall de son serveur.

[Benoit1]

Ok, ce doit être le mieux