Les robots de ce comparateur de prix dont la plage d'IP 85.17.196.128 à 85.17.196.135 parcourent quotidiennement jusquà 15000 pages dans la journée d'un de mes sites d'e-commerce (1100 produits environ sous oscommerce) .
Il a même réussi à me faire planter par 2 fois MySQL dans le mois pour un "exceeded the 'max_questions' resource" de 60000 par heure, c'est tout dire.
La plupart des comparateurs de prix vont chercher un fichier spécifique qui génére la liste des produits et les infos dont ils ont besoin, c'est le cas du guide.com ou de Kelkoo. Je ne comprends pas qu'une telle m...e puisse exister.
De plus le site en question n'a jamais sollicité la venue de Twenga, encore une fois, les autres comparateurs requiérent une inscription.
A vos deny (robots.txt) ou vos scripts PHP pour en interdire l'accès si ce robot vous occasionne des problèmes.
Il a même réussi à me faire planter par 2 fois MySQL dans le mois pour un "exceeded the 'max_questions' resource" de 60000 par heure, c'est tout dire.
La plupart des comparateurs de prix vont chercher un fichier spécifique qui génére la liste des produits et les infos dont ils ont besoin, c'est le cas du guide.com ou de Kelkoo. Je ne comprends pas qu'une telle m...e puisse exister.
De plus le site en question n'a jamais sollicité la venue de Twenga, encore une fois, les autres comparateurs requiérent une inscription.
A vos deny (robots.txt) ou vos scripts PHP pour en interdire l'accès si ce robot vous occasionne des problèmes.