Enviar pesquisa
Carregar
ironSource A/Bテストツール利用ガイド
•
0 gostou
•
1,283 visualizações
ironSource
Seguir
ironSource A/Bテストツール利用ガイド
Leia menos
Leia mais
Internet
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 27
Baixar agora
Baixar para ler offline
Recomendados
Gui自動テストツール基本
Gui自動テストツール基本
Tsuyoshi Yumoto
Optimizely+Tealium (e-Agency Seminar 20150513)
Optimizely+Tealium (e-Agency Seminar 20150513)
Takashi Toriuchi
テスト初心者Androiderのためのソフトウェアテスト入門
テスト初心者Androiderのためのソフトウェアテスト入門
Satoshi Watanabe
ワンクリックデプロイ101 #ocdeploy
ワンクリックデプロイ101 #ocdeploy
Ryutaro YOSHIBA
SGT2013 技術トークス「アジャイルテスティング」
SGT2013 技術トークス「アジャイルテスティング」
yasuohosotani
アジャイル×テスト開発を考える
アジャイル×テスト開発を考える
yasuohosotani
Apache jmeter
Apache jmeter
Hiroshi Toyama
アジャイルテストを、壮絶に、考える。
アジャイルテストを、壮絶に、考える。
Dai FUJIHARA
Mais conteúdo relacionado
Semelhante a ironSource A/Bテストツール利用ガイド
【SQiP2014】システム操作インターフェイス最適化によるテスト自動化ROI向上
【SQiP2014】システム操作インターフェイス最適化によるテスト自動化ROI向上
Tatsuya Ishikawa
JMeter によるパフォーマンステスト指南
JMeter によるパフォーマンステスト指南
じゅん なかざ
Rails A/B testing by split gem
Rails A/B testing by split gem
Ryuma Tsukano
TABOK Skill Category2解説
TABOK Skill Category2解説
Kinji Akemine
Awsで実現するseleniumテスト高速術
Awsで実現するseleniumテスト高速術
finoue
ITS fidel
ITS fidel
Fidel Softech P. Ltd
事例からわかる!テスト自動化導入パターン
事例からわかる!テスト自動化導入パターン
友隆 浅黄
Team Foundation Server ~ 今を生きるエンジニアのための開発基盤とは 【BPStudy #63】
Team Foundation Server ~ 今を生きるエンジニアのための開発基盤とは 【BPStudy #63】
智治 長沢
ブラウザテスト自動化入門
ブラウザテスト自動化入門
takahiro sakuma
Netadvantage 2012 volume2 最新情報 Reporting 編
Netadvantage 2012 volume2 最新情報 Reporting 編
Daizen Ikehara
テストコードのリファクタリング
テストコードのリファクタリング
Shuji Watanabe
Code complete ch22_developper_test
Code complete ch22_developper_test
Sho Shimauchi
Agile japan2010 rakuten様プレゼン資料
Agile japan2010 rakuten様プレゼン資料
Akiko Kosaka
Agileツール適合化分科会(テスト自動化ツール)
Agileツール適合化分科会(テスト自動化ツール)
masanori kataoka
システムテスト自動化標準ガイド 5章発表資料
システムテスト自動化標準ガイド 5章発表資料
Masatoshi Itoh
HP_almqc_concepts20150701
HP_almqc_concepts20150701
Tsuyoshi Yumoto
TotalViewを使ったFOCUSスパコンでのデバッグ体験 2016
TotalViewを使ったFOCUSスパコンでのデバッグ体験 2016
RWSJapan
WebサービスのソフトウェアQAと自動テスト戦略
WebサービスのソフトウェアQAと自動テスト戦略
Masaki Nakagawa
【システムテスト自動化カンファレンス2013 LT】 Data Driven Development (仮)
【システムテスト自動化カンファレンス2013 LT】 Data Driven Development (仮)
Kotaro Ogino
Gamedevenvstudy1
Gamedevenvstudy1
Takashi Kokawa
Semelhante a ironSource A/Bテストツール利用ガイド
(20)
【SQiP2014】システム操作インターフェイス最適化によるテスト自動化ROI向上
【SQiP2014】システム操作インターフェイス最適化によるテスト自動化ROI向上
JMeter によるパフォーマンステスト指南
JMeter によるパフォーマンステスト指南
Rails A/B testing by split gem
Rails A/B testing by split gem
TABOK Skill Category2解説
TABOK Skill Category2解説
Awsで実現するseleniumテスト高速術
Awsで実現するseleniumテスト高速術
ITS fidel
ITS fidel
事例からわかる!テスト自動化導入パターン
事例からわかる!テスト自動化導入パターン
Team Foundation Server ~ 今を生きるエンジニアのための開発基盤とは 【BPStudy #63】
Team Foundation Server ~ 今を生きるエンジニアのための開発基盤とは 【BPStudy #63】
ブラウザテスト自動化入門
ブラウザテスト自動化入門
Netadvantage 2012 volume2 最新情報 Reporting 編
Netadvantage 2012 volume2 最新情報 Reporting 編
テストコードのリファクタリング
テストコードのリファクタリング
Code complete ch22_developper_test
Code complete ch22_developper_test
Agile japan2010 rakuten様プレゼン資料
Agile japan2010 rakuten様プレゼン資料
Agileツール適合化分科会(テスト自動化ツール)
Agileツール適合化分科会(テスト自動化ツール)
システムテスト自動化標準ガイド 5章発表資料
システムテスト自動化標準ガイド 5章発表資料
HP_almqc_concepts20150701
HP_almqc_concepts20150701
TotalViewを使ったFOCUSスパコンでのデバッグ体験 2016
TotalViewを使ったFOCUSスパコンでのデバッグ体験 2016
WebサービスのソフトウェアQAと自動テスト戦略
WebサービスのソフトウェアQAと自動テスト戦略
【システムテスト自動化カンファレンス2013 LT】 Data Driven Development (仮)
【システムテスト自動化カンファレンス2013 LT】 Data Driven Development (仮)
Gamedevenvstudy1
Gamedevenvstudy1
Mais de ironSource
The Developer Tour - Ho Chi Minh City
The Developer Tour - Ho Chi Minh City
ironSource
The Developer Tour - Hanoi
The Developer Tour - Hanoi
ironSource
Nadav Ashkenazy - Casual Connect Europe 2018
Nadav Ashkenazy - Casual Connect Europe 2018
ironSource
Who is playing your game?
Who is playing your game?
ironSource
3*3 Developer Tour
3*3 Developer Tour
ironSource
Aura for advertisers
Aura for advertisers
ironSource
Developer Series 6x6 Tour: UA Strategy and Case Studies
Developer Series 6x6 Tour: UA Strategy and Case Studies
ironSource
Developer Series 6x6 Tour: User Acquisition and ROI Strategy
Developer Series 6x6 Tour: User Acquisition and ROI Strategy
ironSource
Developer Series 6x6 Tour: The power of interactive ads
Developer Series 6x6 Tour: The power of interactive ads
ironSource
Enhancing user experience with rewarded ad monetization
Enhancing user experience with rewarded ad monetization
ironSource
ironSource Developer Series: UA (Korean)
ironSource Developer Series: UA (Korean)
ironSource
How To Monetize Your Game By Ads, Globally (Chinese)
How To Monetize Your Game By Ads, Globally (Chinese)
ironSource
The Complete Guide to Fighting Mobile Ad Fraud
The Complete Guide to Fighting Mobile Ad Fraud
ironSource
A Snapshot of UA Trends
A Snapshot of UA Trends
ironSource
Rewarded Video: Benefits and Best Practices
Rewarded Video: Benefits and Best Practices
ironSource
How To Maximise ROI With Creative Optimization
How To Maximise ROI With Creative Optimization
ironSource
Developer State: Challenges facing app developers
Developer State: Challenges facing app developers
ironSource
How is Asia Changing the Mobile Landscape? | Omer Kaplan, ironSource CMO | Ca...
How is Asia Changing the Mobile Landscape? | Omer Kaplan, ironSource CMO | Ca...
ironSource
11 Creative Tips for Effective CPE Campaigns - ironSource | Casual Connect Te...
11 Creative Tips for Effective CPE Campaigns - ironSource | Casual Connect Te...
ironSource
Finding the Balance: Managing the Monetization and UA Cycle | Casual Connect ...
Finding the Balance: Managing the Monetization and UA Cycle | Casual Connect ...
ironSource
Mais de ironSource
(20)
The Developer Tour - Ho Chi Minh City
The Developer Tour - Ho Chi Minh City
The Developer Tour - Hanoi
The Developer Tour - Hanoi
Nadav Ashkenazy - Casual Connect Europe 2018
Nadav Ashkenazy - Casual Connect Europe 2018
Who is playing your game?
Who is playing your game?
3*3 Developer Tour
3*3 Developer Tour
Aura for advertisers
Aura for advertisers
Developer Series 6x6 Tour: UA Strategy and Case Studies
Developer Series 6x6 Tour: UA Strategy and Case Studies
Developer Series 6x6 Tour: User Acquisition and ROI Strategy
Developer Series 6x6 Tour: User Acquisition and ROI Strategy
Developer Series 6x6 Tour: The power of interactive ads
Developer Series 6x6 Tour: The power of interactive ads
Enhancing user experience with rewarded ad monetization
Enhancing user experience with rewarded ad monetization
ironSource Developer Series: UA (Korean)
ironSource Developer Series: UA (Korean)
How To Monetize Your Game By Ads, Globally (Chinese)
How To Monetize Your Game By Ads, Globally (Chinese)
The Complete Guide to Fighting Mobile Ad Fraud
The Complete Guide to Fighting Mobile Ad Fraud
A Snapshot of UA Trends
A Snapshot of UA Trends
Rewarded Video: Benefits and Best Practices
Rewarded Video: Benefits and Best Practices
How To Maximise ROI With Creative Optimization
How To Maximise ROI With Creative Optimization
Developer State: Challenges facing app developers
Developer State: Challenges facing app developers
How is Asia Changing the Mobile Landscape? | Omer Kaplan, ironSource CMO | Ca...
How is Asia Changing the Mobile Landscape? | Omer Kaplan, ironSource CMO | Ca...
11 Creative Tips for Effective CPE Campaigns - ironSource | Casual Connect Te...
11 Creative Tips for Effective CPE Campaigns - ironSource | Casual Connect Te...
Finding the Balance: Managing the Monetization and UA Cycle | Casual Connect ...
Finding the Balance: Managing the Monetization and UA Cycle | Casual Connect ...
ironSource A/Bテストツール利用ガイド
1.
A/Bテストツール利用ガイド
2.
A/Bテストツールの概要
3.
A/Bテストツールとは リスクをコントロールしながら、複雑 な収益化施策のA/Bテストを容易 に実施することができます。 追加開発不要で、全て ironSource 管理画面より、設定・実施・分析を 行うことができます。
4.
A/Bテストツールの使用例 ウォーターフォール比較 ● マニュアル/オート比較 ● ネットワークごとの比較 ●
インスタンス比較 ● 更新頻度 広告ユニット比較 ● プレースメントの配置 ● 報酬の内容・数量 ● ペーシング・キャップ ● 新規広告ユニットのテスト ● xボタンの設定比較 ● プレイアブル ● ブラックリスト運用 ユーザーセグメント比較 ● 課金セグメント ● 重課金セグメント ● レベル◯以上セグメント
5.
A/Bテストツールの設定方法
6.
A/Bテストツール 設定・運用フロー ● テストグループの作 成(グループB) ● テスト対象ユーザー の比率を決める ●
テストグループのイ ンスタンス設定 ● テスト内容に応じ、 管理画面側でテスト グループの設定を変 更(例:ウォーター フォール、セグメント など) ● 効果検証。A/Bテスト 画面および、 Performanceレポー ト、User Activityレ ポートにてA/Bグ ループのパフォーマ ンスを確認 ● グループの選択。 A/Bテスト画面にて 最終的に効果の良 いグループを選択。
7.
A/Bテスト - 設定 Step
1. 管理画面左側メニューより、 Monetize>Setup>A/Bを選択 し、A/Bテスト画面を開 き、”Create New Testをクリッ クして新規A/Bテストの作成を 開始します。 新規テストの作成
8.
A/Bテスト - 設定 Step
2. A/Bテスト名、詳細を入力し、テ ストグループごとのトラフィック の配分比率を設定します。 テスト概要の設定
9.
A/Bテスト - 設定 Step
3. GroupBにおけるアドネットワー クの設定を行います。 新規のインスタンスID (ZoneID,PlacementIDなど)を 設定する必要があります。 新規インスタンスを設定するこ とにより、レポートにて A/B別々 で計測することができます。 *特定のインスタンスを使用したくない場合は、 ”inactive”にすることにより、初 期化されないように設定可能です。 *ironSourceネットワークのインスタンス IDについては、自動的に作成されま す。 テストグループにおけるインスタンスの 設定
10.
A/Bテスト - 設定 Step
4. ‘Start A/B Test’をクリックし、 A/Bテストを開始します。 A/Bテストは翌日のUTC 0:00 から開始されます。 A/Bテストの開始が選択される と、ironSource側で、プレースメ ント、ウォーターフォールなど既 存の全ての設定をBグループ (テストグループ)へ複製しま す。 Bグループの設定 *ironSourceプラットフォーム上でマルチインスタンスに対応していないアド ネットワークは、Aグループのみでの運用に限られ、 Bグループへ設定する ことはできません。
11.
A/Bテスト - 設定 Bグループ作成後、テストした い項目に合わせて、設定の変 更を行うことができます。 A/Bを表すトグルスイッチが表 示されるようになります。設定 を変更したいグループへ切り替 えて、設定を変更します。 A/Bテストにて個別に設定変更が可能な項目 -
Ad Units & Placement - Server Side Networks - SDK Networks - Mediation Management - Segments テストしたい内容に合わせ、各種設定 を行う
12.
A/Bテスト - 設定 Step5.
テストの終了 A/Bテスト後に継続したいグ ループが決まった場合、 A/Bテ スト画面から’Continue with A’ ・’Continue with B’のいずれか を選択します。 どちらかを選択すると、 A/Bテス トが終了し、100%のトラフィック に対して、選定したグループの 設定が適用されます。 *一度確定すると、元に戻すことはできません *確定後、翌日のUTC 0:00にA/Bテストが終了となります。 *終了したテストは、’History’タブにて確認することができるようになりま す。
13.
A/Bテスト - 運用およ びレポーティング A/Bテスト
Overviewタブ: Overviewページでは、以下の 設定を行うことができます。 ①Edit Test: A/Bテスト中でもテスト名、詳 細、ユーザーの配分比率など 変更することが可能です。 変更自体は翌日のUTC 0:00 に適用されます。 *一度確定すると、元に戻すことはできません *確定後、翌日のUTC 0:00にA/Bテストが終了となります。 *終了したテストは、’History’タブにて確認することができるようになります。 A/Bテストページ、もしくは Performance/User Activityのレポートページにてデータを確認す ることができます。 ①
14.
A/Bテスト - 運用およ びレポーティング ②Show
Reports: Performance Report画面へ遷 移。デフォルトでA/Bテスト対象 アプリの数値のみを表示。 ③テストの終了: テストを終了することにより、 100%のユーザーへ選択したグ ループの設定を適用します。 *一度確定すると、元に戻すことはできません *確定後、翌日のUTC 0:00にA/Bテストが終了となります。 *終了したテストは、’History’タブにて確認することができるようになりま す。 A/Bテストページ、もしくは Performance/User Activityのレポートページにてデータを確認す ることができます。 ② ③
15.
A/Bテスト - 設定 Overviewタブにて、各種指標 の比較をすることも可能です。 数値はユーザー配分比率の最 終変更日から当日までのもの が表示されます。 各種指標の比較
16.
A/Bテスト - 設定 アプリレベルの指標
: - Revenue - DAU - ARPDAU - Day1 Retention - Day7 Retention 各種指標の比較
17.
A/Bテスト - 設定 広告ユニットレベルの指標
: - Revenue - Impressions - eCPM - Fill Rate - Impressions /DAU - Impressions /DEU 各種指標の比較
18.
A/Bテスト - 設定 レポーティング画面の PerformanceとUser
Activityレ ポートそれぞれにて、 A/Bグ ループの比較が可能です。 ①A/Bの比較レポートを表示す るには、A/Bテストを実施してい るアプリを選択し、 ②BreakdownにてA/Bを選択し ます。 レポーティング画面 ① ② *レポート画面では、インスタンス名ごとに数値が集計されます。したがって、 A/Bグループにて同じインスタンス名を設定している場合、他の Breakdown を選択するとA/Bグループの合計値が表示されます。
19.
どんな事業戦略をとる上でも、 A/Bテストを実施し、収益を最大化し事業をスケールさせることは非常に重要です。 ironSourceのA/Bテストツールを使用することにより、異なる広告配信設定を効果的に検証し、最も効果のある戦 略を最小限のリスクで選択することが可能になります。 A/Bテストは場合によっては、非常に複雑な設定が必要になり、適切な設定や運用を行わないと、誤った判断を下 すことになりかねません。このガイドでは、より精度の高い結果と適切な判断を得られるように、 A/Bテストツールの ベストプラクティスについて取り上げています。 A/Bテスト
- ベストプラクティス
20.
A/Bテスト - ベストプラクティス 1.
指標はひとつずつテストする 広告収益戦略を最適化するにつれ、複数の機能や指標をテストしたくなるかと思います。変更箇所の影響 を効果的に検証するには、ひとつの指標ごとに計測し、検証していくしかありません。 たとえば、新規アドネットワークを追加すると同時に動画リワードプレースメントの報酬量を変更した場合、 得られた効果の原因がわからなくなってしまいます。この場合は、それぞれの変更点を個別に検証する必 要があります。 もちろん、複数の箇所を同時にテストすることは可能ですが、必ず各 KPIは独立して検証する必要がありま す。
21.
A/Bテスト - ベストプラクティス 2.
グループA(Control Group)には触れない テストを実施したい指標が定まったら、グループ A(既存の設定)は一切変えないようにしましょう。変更を加 えるのはグループB(Test Group)に限定することにより、グループ Aをより正確なベンチマークとすることが できます。 グループAに変更を加えてしまった場合、ベンチマークとしての役割が薄れ、正確な検証ができなくなってし まいます。
22.
A/Bテスト - ベストプラクティス 3.
ゴールを明確に テスト開始前に、改善したい指標と、それをどのくらい改善したいのか明確にしておく必要があります。仮 に、テストの結果複数の指標に影響が出た場合に、どちらの指標を優先するのかも事前に決めておく必要 があります。 例えば、テストにより ARPDAUが伸びたとしても、リテンションにネガティブな影響が出て結果的に ARPU(LTV)が下がってしまったとします。この場合 LTVを優先しておくことによって、円滑に適切な判断をす ることができます。誤って ARPDAUのみに固執してしまった場合、 A/Bテストの結果としては良くても、結果 的にアプリのパフォーマンスは落ちてしまいます。
23.
A/Bテスト - ベストプラクティス 4.
段階的なテストを 例え小さな変更でも、非常に大きなインパクトを与えることがあります。 したがって、A/Bテストを始める際は、少ないユーザー比率 (10%~20%)から始めることにより、リスクを軽減 することができます。 また、少ないユーザー比率で非常に良いパフォーマンスが得られたからといって、全ユーザーから同じパ フォーマンスが得られない可能性もあります。したがって、テストグループのユーザー比率は 10%~20%から 始め、80%~90%まで段階的に増やしていくことによりリスクを抑えながら、より正確な検証を行うことができ ます。
24.
A/Bテスト - ベストプラクティス 5.
十分なテスト期間を どんなテストでも、データが揃うまで相応の期間を要します。特にグループ B(テストグループ)は基本的に新 規インスタンスで開始することになりますので、各アドネットワークのアルゴリズムに応じて学習期間が必要 になります。 グループBのインスタンスの最適化が進むまで、 3~7日(使用するアドネットワークごとに異なる)。 A/Bテスト 自体は最低でも1週間の期間が必要で、理想としては 2週間かそれ以上の期間にて判断をすることを推奨し ています。
25.
A/Bテスト - ベストプラクティス 6.
十分なトラフィックを もしグループB(テストグループ)が十分なトラフィック (DAU)が無い場合、データとしての信頼性は低下しま す。トラフィック量が少ない場合、パフォーマンスが大きく変動する可能性が高くなってしまいます。 ベンチマークとしては、以下のいずれかを推奨しています。 1. グループB全体で10,000imp/日 2. グループBの各インスタンスにて 1,000imp/日 もし上記のいずれにも当てはまらない場合は、グループ Bのユーザー比率を上げることを検討する必要が あります。
26.
A/Bテスト - ベストプラクティス 6.
日常的にテストを A/Bテストに基づく効果的な設定変更で、容易に収益増大を実現することができます。 1回のテストで終わら せてしまうのではなく、常に A/Bテストを繰り返し、最適化を行っていきましょう!
27.
Thank You
Baixar agora