Majestic 12, ca parle à quelqu'un ?

[JanoLapin]

Bonjour tout le monde sous la neige (et les autres aussi),

cela fait plusieurs fois qu'un bot inconnu passe sur un de mes sites, avec la signature MJ12bot.
Cela renvoie à l'url suivante: http://www.majestic12.co.uk/projects/dsearch/mj12bot.php

Apparemment c'est un noueau moteur, avec un philosophie assez étrange (grosso modo, quand tu surfes, tu crawles pour lui).

Quelqu'un a déjà u cette drôle de bête? Qui en sait plus ?

[webmasterlamogere]

il ne faut pas hésiter à mettre dans le robots.txt :

Code: Tout sélectionner

Crawl-Delay: 20

[JanoLapin]

Merci pour le tuyau, webmasterlamogere, qui sert à ralentir l'activité des bits sur le serveur et donc els ressources consommées).

Quelqu'un a-t-il des infos sur ce bot, et sur la société qui le fait vivre? Cela m'intrigue...

[Leonick]

Apparemment c'est un nouveau moteur, avec un philosophie assez étrange (grosso modo, quand tu surfes, tu crawles pour lui).

sans avoir de barre d'installée ? c'est impossible

[tofm2]

oui, je l'ai dans mes logs, c'est un crawler bot distribué dont tu peux télécharger l'executable et ainsi crawler pour eux.

ils ont pour effet de monopolyser un peu de ta bande passante, ainsi que Heritrix. Mais hormis cela, rien de bien nouveau

http://www.netdynamics.eu/Forum/very-long-connection-from-certain-t73.html

en plus de ça, j'ai essayé d'installer leur client, il marche, mais demande de grosses ressources en terme de B.P. et de ressources informatiques.

voilà