TwengaBot/1.1 à bannir?

**le Jeu Juil 03, 2008 18:39**

Les robots de ce comparateur de prix dont la plage d'IP 85.17.196.128 à 85.17.196.135 parcourent quotidiennement jusquà 15000 pages dans la journée d'un de mes sites d'e-commerce (1100 produits environ sous oscommerce) .
Il a même réussi à me faire planter par 2 fois MySQL dans le mois pour un "exceeded the 'max_questions' resource" de 60000 par heure, c'est tout dire.
La plupart des comparateurs de prix vont chercher un fichier spécifique qui génére la liste des produits et les infos dont ils ont besoin, c'est le cas du guide.com ou de Kelkoo. Je ne comprends pas qu'une telle m...e puisse exister.
De plus le site en question n'a jamais sollicité la venue de Twenga, encore une fois, les autres comparateurs requiérent une inscription.

A vos deny (robots.txt) ou vos scripts PHP pour en interdire l'accès si ce robot vous occasionne des problèmes.

**le Ven Juil 04, 2008 1:19**

Salut, tu as juste à faire ça au lieu de le bannir :
User-agent: TwengaBot
Crawl-delay: 50

Voilà

.

**le Ven Juil 04, 2008 1:55**

Salut, tu as juste à faire ça au lieu de le bannir :
User-agent: TwengaBot
Crawl-delay: 50

C'est une très bonne idée, merci pour le tuyau.
Mais je ne suis pas certain qu'un robot aussi mal conçu respecte le Crawl-delay.
Comme c'est un comparateur , il va continuer à crawler toutes les pages du site au quotidien en générant des milliers de requêtes. Je vois plusieurs IP's de ce même comparateur parfois dans le même journée.

Je vais les contacter pour savoir si leur robot le respecte (le Crawl-delay). On verra si ils me répondent.

**le Ven Juil 04, 2008 1:56**

Je pense qu'ils ne réponderont pas...
Teste, si ça fait encore ça, là, mets un bon :
User-agent: TwengaBot
Dissalow: /

Voilà

.

**le Ven Juil 04, 2008 2:23**

C'est le site d'un client, j'ai un peu peur de tester. Un site d'e-commerce ça la fout mal quand ça plante surtout quand il y a des clients qui font leurs achats.

.
Le dernier plantage a duré 8 heures, j'en ai ma dose de Twenga.

Je crois que je vais opter pour le bon :
User-agent: TwengaBot
Dissalow: /

ou plutôt Disallow: / avec un seul s ça marchera mieux

**le Ven Juil 04, 2008 2:30**

Ah, o_O. Fais-le ouep :p.

**le Ven Juil 04, 2008 2:43**

The TwengaBot also fully supports the robots.txt protocol, particularly the crawl-delay instruction.

http://www.twenga.com/bot.html

**le Ven Juil 04, 2008 2:52**

Merci Monty973, tu as répondu à notre interrogation mais faut-il mettre
User-Agent: TwengaBot
ou
User-Agent: TwengaBot/1.1
?

**le Ven Juil 04, 2008 3:05**

TwengaBot tout court ;o).

**le Ven Juil 04, 2008 9:26**

Merci de cette info.

Je pense que cela servira a plus d'un.

**le Ven Juil 04, 2008 9:48**

En parlant, de ce site, ils m'ont contacté pour m'acheter des liens sur mon site, apparement la dissuasion de google ne marche plus pour les liens acheté ...

ps: j'ai meme pas repondu bien sur

TwengaBot/1.1 à bannir?

TwengaBot/1.1 à bannir?

Formation recommandée sur ce thème :

Lectures recommandées sur ce thème :

Qui est en ligne