Exploratory アワー #473 - 施策による効果の違いが統計的に有意かどうか判断する方法（信頼区間）
このトピックは2024/5/21のExploratory Hourで放送されたものです。
マーケティングの世界では、よくA/Bテストとして施策を行なったグループと行なっていないグループに分けて、それぞれのコンバージョン率を比較して、その施策によって効果が上がったのかどうかを判断していきます。
ただ、バーチャートなどで可視化をしただけでは、施策による効果の違いが意味のある違いなのかがわからず、意思決定をしていく際に迷いが生じてしまいます。
なぜなら、バーチャートでは割合や平均値などの集計値を可視化するだけで、裏にあるデータ量は加味されていないために、その結果が正しいものかどうかが判断できないからです。
そこで、信頼区間を使うことで、手元にあるデータから将来入ってくるであろう顧客のコンバージョン率が収まるであろう範囲を推定でき、その結果施策による効果の違いを統計的に有意かどうか判断することができます。
今回はその信頼区間についての簡単な紹介と、Exploratoryでエラーバーを使った信頼区間の可視化について紹介します。
役立つ人
広告やマーケティング業界でデータを扱っている人。
問題
施策による効果の違いが統計的に有意かどうか判断したい。
解決方法
チャートビューにあるエラーバーを使うことで、信頼区間を簡単に可視化することができ、さらには信頼区間が重なっているかどうかによって統計的に有意かどうかを判断することができます。