営業向け ABテストの統計学データアーティスト

データアーティスト株式会社
営業向け LPO統計講義第一回
ABテスト

Copyright© 2002-2014 Data Artist, Inc. All Rights Reserved. Page2Page2Page2Page2
A/Bテスト
テストの設計、結果の理解が容易

アジェンダ
1
•CVRの真値の推定
2
•二つのクリエイティブの比較
3
•日毎のばらつきの計算
4
•期間の計算

お客さまからの質問
1000UUでCVRを測定したら
3%だったんですが
どれくらい信じれますか？？

答え
CVRの本当の値は
80%の確率で2.3～3.7%
90%の確率で2.1～3.9%
95%の確率で1.9～4.1%の間に入っています。

CVRの真値を実測値から区間推定する
CVRの真値:UUを無限に増やしたときのCVR
UUを増やすほどCVRの測定値と真値は近づいていく。
UU
CVRCVR )1( 


Excelのツールを使って計算しましょう！
DA_ABテスト統計ツール.xlsx
https://drive.google.com/file/d/0B3tXL03tgwNmSWlvRmZ1SGlRUm8/edit?usp=sharing
URLを開いて、ここからダウンロードしてください

Excelのツールを用いる
CVRの真値の分布を
求めています。
約99.9が入る範囲
までが描画されて
います。

Excelのツールを用いる
測定値±0.9%に
真値が有る確率は
90%です。

2 二つのクリエイティブの比較

二つのクリエイティブ1,2の
CVRを1000UUで測定したら
5%と3%だったんですが
1は2に勝ってると言えますか？

答え
99%の確率で1が2に勝っているといえます。
また88%の確率で1は2より1%以上勝っているといえます。

ツールを用いる
CVR1に勝っている数
値を入れてください。

99%で1が2に
勝っているといえます。
88%で1が2に
1%以上勝っている
といえます。

3 日毎のばらつきの計算

CVR3.0%だったページを
1000UUで測定し直したら
CVRが2.8%にさがってます！！
どういうことですか！！？

答え
CVRの真値が3.0%だったとしても
測定されるCVRはばらつきを持っています。
3.0%で1000UUの場合、CVRが2.8%より
大きくずれる可能性は70%以上ありますので
今回の差は充分起こりうることです。

真値と実測値の関係
1000UU用いた測定でCVRの実測値が3.0%の時
真値が存在する範囲
CVRの真値が3.0%の時
1000UUで実測させるCVRの範囲
≒

3±0.2%に収まる
確率は30%しかないため、
それよりばらつくことは
十分にあり得る。

一日のUUが10000、
20クリエイティブをテストします。
今のCVRが5.0%で、
今度の施策で6.0%位には
上がると思うんですが、
何日テストをすれば良いですか？

答え
信頼度を90%にした場合、
有意にチャンピオンが勝っていることを
検証するのに4日、
チャンプが0.5%以上
勝っていることを検証するのに14日かかります。

まとめ
1
•CVRの真値の推定
•真値が存在する範囲を求められるようになった。
2
•二つのクリエイティブの比較
•有意なCVRの差を求められるようになった。
3
•日毎のばらつきの計算
•CVRのばらつきが確率的なものか他の要因かの判断が出来るようになった。
4
•期間の計算
•条件にあったテストを行うのに必要なテスト期間を求められるようになった。

営業向け ABテストの統計学データアーティスト

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Destaque

Destaque (20)

Mais de Satoru Yamamoto

Mais de Satoru Yamamoto (17)