ベイジアンA/Bテスト（集計済みデータ）の紹介

A/Bテストについて聞いたことがある方も多いと思います。A/Bテストとは、AとBの2つのグループを作成し、各グループのパフォーマンスを測定して、どちらがよりパフォーマンスが優れているかをテストすることです。

このノートではA/Bテストの時に使える「ベイジアンA/Bテスト（集計済みデータ）」について紹介します。

A/Bテストの時に使えるベイジアンA/Bテストでは、ベイズ推定を使用してAがBよりも優れている（または劣っている）「確率」を示します。

この方法の利点は、統計学の知識がなくても、結果を直感的に理解できることです。これは、ビジネスの担当者とのコミュニケーションがしやすくなることを意味します。

もう1つの利点は、結果を評価するときにデータの量についてあまり心配する必要がないことです。AとBでどちらかが優れている確率を読み取ることで、初日（または最初の1時間）からテスト結果を評価していくことができます。

もちろん、十分なデータサイズがある方がいいですが、「まだ十分なデータがない」よりも「AはBよりも60％の確率で優れている」と言える方が意思決定が必要なビジネスで役に立ちます。

使用するデータ

今回はサンプルデータとして、すでに集計されているキャンペーンごとのコンバージョン率のデータを使用します。

ベイジアンA/Bテスト（集計済みデータ）を利用する場合は、下記の列が必要になっています。

もし1行1顧客のように、集計済みではないデータでベイジアンA/Bテストを実施したい場合は、こちらのノートをご覧ください。

アナリティクスビューから、「A/B テスト」の中にある「ベイジアン A/B テスト（集計済みデータ）」を選択します。

次に、次にそれぞれに下記のように列を設定します。

実行すると、「ベイジアン A/B テスト」の結果が表示されます。

「サマリ」タブでは、ベイジアンA/Bテストを実行した結果、グループのAとBでどちらが優れているのかを知ることができます。

このサマリ情報で最も重要な部分は、「改善する確率」の列です。この場合、Aの確率がBよりも優れているのは99.22％（0.9922）であり、Bの確率がAよりも優れているのは0.78％（0.0078）であることがわかります。

「期待される改善率」の列には、AがBよりどれだけ優れているかが示されています。今回の場合は、A（キャンペーン対象者）だと、B（キャンペーン非対象者）に比べてコンバージョン率が8.2％（0.082）ほど良くなると解釈できます。

改善率のタブに移動すると、改善する確率の確率分布を確認できます。

X軸は、以下のような計算で、AがBよりどれだけ優れているかを表します。

改善率 = (A-B) / B * 100

また、各バーはパフォーマンス改善率の確率として読み取ることができます。

例えば、矢印が指している青色のバーを解釈するには、「AはBより9.25％（X軸）パフォーマンスが良く、その確率は5.16％です」と言うことができます。

そして、全てに対する青色の領域全体の比率（およびすべてに対するオレンジ色の比率）は、サマリタブの「改善する確率」の列の下に表示される数値です。

上記評価は、事前情報を明示的に設定せずに行いました。事前情報を追加しない場合は、分布に関する事前知識がないと想定し、一様分布を事前情報として使用します。これは十分なデータサイズがあれば問題ありません。しかし、最初の数日間しかデータがない場合は、そうではない可能性があります。

事前情報を提供するには、過去のコンバージョン率の平均と標準偏差を提供して、Exploratoryが事前情報を内部で計算できるようにします。

なお、「予想されるCRの平均」や「予想されるCRの標準偏差」は、コンバージョン率（Conversion Rate）を表しています。

過去のデータをインポートすることで、コンバージョン率の平均と標準偏差をExploratoryで簡単に計算することができます。

下記のように1日ごとに行があり、セッション数、コンバージョン数の集計されたデータがあったとします。

最初にコンバージョン率を計算する必要があります。

列ヘッダーメニューから「計算の作成」の「標準」を選択します。

計算エディタには、以下のように入力してコンバージョン率を計算します。

サインアップ数 / セッション数

日ごとのコンバージョン率を求めることができました。

この列を作成したら、サマリビューに移動して、コンバージョン率の平均値と標準偏差を確認できます。

コンバージョン率の平均値は0.0979（9.8％）、標準偏差は0.0081（0.81％）であることがわかります。次に、これらの数値をベイジアンA/Bテストに指定します。

A/BテストやベイジアンA/Bテストについて詳しく知りたい方は、こちらのノートをご覧ください。

また、それ以外にもベイジアンA/Bテストに関する参考資料がありますのでご活用ください。