TwengaBot/1.1 à bannir?

[patriceAB]

Les robots de ce comparateur de prix dont la plage d'IP 85.17.196.128 à 85.17.196.135 parcourent quotidiennement jusquà 15000 pages dans la journée d'un de mes sites d'e-commerce (1100 produits environ sous oscommerce) .
Il a même réussi à me faire planter par 2 fois MySQL dans le mois pour un "exceeded the 'max_questions' resource" de 60000 par heure, c'est tout dire.
La plupart des comparateurs de prix vont chercher un fichier spécifique qui génére la liste des produits et les infos dont ils ont besoin, c'est le cas du guide.com ou de Kelkoo. Je ne comprends pas qu'une telle m...e puisse exister.
De plus le site en question n'a jamais sollicité la venue de Twenga, encore une fois, les autres comparateurs requiérent une inscription.

A vos deny (robots.txt) ou vos scripts PHP pour en interdire l'accès si ce robot vous occasionne des problèmes.

[ChristopheDuman]

Salut, tu as juste à faire ça au lieu de le bannir :
User-agent: TwengaBot
Crawl-delay: 50

Voilà .

[patriceAB]

Salut, tu as juste à faire ça au lieu de le bannir :
User-agent: TwengaBot
Crawl-delay: 50

C'est une très bonne idée, merci pour le tuyau.
Mais je ne suis pas certain qu'un robot aussi mal conçu respecte le Crawl-delay.
Comme c'est un comparateur , il va continuer à crawler toutes les pages du site au quotidien en générant des milliers de requêtes. Je vois plusieurs IP's de ce même comparateur parfois dans le même journée.

Je vais les contacter pour savoir si leur robot le respecte (le Crawl-delay). On verra si ils me répondent.

[ChristopheDuman]

Je pense qu'ils ne réponderont pas...
Teste, si ça fait encore ça, là, mets un bon :
User-agent: TwengaBot
Dissalow: /

Voilà .

[patriceAB]

C'est le site d'un client, j'ai un peu peur de tester. Un site d'e-commerce ça la fout mal quand ça plante surtout quand il y a des clients qui font leurs achats. .
Le dernier plantage a duré 8 heures, j'en ai ma dose de Twenga.

Je crois que je vais opter pour le bon :
User-agent: TwengaBot
Dissalow: /

ou plutôt Disallow: / avec un seul s ça marchera mieux

[ChristopheDuman]

Ah, o_O. Fais-le ouep :p.

[Monty973]

The TwengaBot also fully supports the robots.txt protocol, particularly the crawl-delay instruction.

http://www.twenga.com/bot.html

[patriceAB]

Merci Monty973, tu as répondu à notre interrogation mais faut-il mettre
User-Agent: TwengaBot
ou
User-Agent: TwengaBot/1.1
?

[ChristopheDuman]

TwengaBot tout court ;o).

[carrel]

Merci de cette info.

Je pense que cela servira a plus d'un.

[forummp3]

En parlant, de ce site, ils m'ont contacté pour m'acheter des liens sur mon site, apparement la dissuasion de google ne marche plus pour les liens acheté ...

ps: j'ai meme pas repondu bien sur