A/B testing d'un bloc d'annonces

[abouvard]

Hello tous !

J'ai mis en place un A/B testing (2 versions graphiques d'un même bloc d'annonces, affichées aléatoirement une fois sur 2)
pour un bloc à un endroit assez stratégique.

Pour prendre une décision finale pour le choix d'une version plutôt qu'une autre, vous estimez à combien le nombre d'affichages nécessaire ?

Bonne soirée !
Arnaud

[Zecat]

je dirais un millier minimum, 2 ou 3000 ca semble mieux ... et tu devrais avoir une idee assez fiable des rendements (en terme de CTR) des deux versions ... donc selon ton trafic ca peut etre une heure ou une semaine

[abouvard]

Merci pour ta réponse, Lechat !
Ah, en terme de statistiques (dans le sens Mathématiques), j'aurai pensé plus !?
(D'ailleurs ne voit-on pas GG faire des tests d'affichages sur de longues périodes !?)

[milkiway]

Moi je dirais minimum une semaine (selon les jours le trafic est différent), au mieux deux.

[Zecat]

Merci pour ta réponse, Lechat !
Ah, en terme de statistiques (dans le sens Mathématiques), j'aurai pensé plus !?
(D'ailleurs ne voit-on pas GG faire des tests d'affichages sur de longues périodes !?)

Mon raisonnement :

3000
1 % de CTR
ca fait 30 clic

Ca te permet dejaà de comparer sur quelques dizaines de clics.

Si ton annonce B fait 32 clics tu peux conclure que c'est kif kif
si ton annonce B fait 12 ou 53 clics, tu as ta réponse.

Bon en fait faut 3000 chaque donc 6000 ...

[abouvard]

Ok. Merci les gars pour vos réponses !

[doic]

Cet outil te permet de calculer la pertinence de tes stats:
http://www.splittester.com/
En entrant le nombre de clics et le CTR de tes deux versions, tu obtient un score (en %). Plus c'est proche de 100% et plus tes stats sont pertinentes.

C'est ce qu'on appelle le test Chi² (ki deux).
Un score inférieur à 85% n'est pas du tout pertinent, il faut attendre d'avoir plus de clics / affichages.

[Zecat]

je suis pas trop mal avec mon "truffomètre" :

You just entered CLICKS1: 30 ,CLICKS2: 45 ,CTR1(%): 1 ,CTR2(%): 1.5

RESULTS
How confident are you? :
You are approximately 95% confident that the ads will have different long term response rates.