差の差の分析(Difference-in-Differences、DiD)は、特定の施策や介入の効果を評価するための分析手法です。この手法は、施策を実施したグループ(処置群)と実施していないグループ(対照群)の、施策実施前後での変化の差を比較することで、純粋な施策の効果を測定することができます。
DiD分析の特徴は、単純な前後比較や群間比較では捉えきれない、時間とともに変化する要因や、グループ固有の特性による影響を取り除くことができる点です。例えば、ある店舗での新しい販促施策の効果を測定する際、季節要因による売上の自然増加分や、店舗の立地による売上の違いなどの影響を調整した上で、純粋な施策の効果を推定することが可能となります。
DiD分析では、施策実施前の処置群と対照群の差(第一の差)と、施策実施後の処置群と対照群の差(第二の差)を比較します。この「差の差」を計算することで、他の要因による影響を取り除いた、真の施策効果を推定することができます。この手法は、経済学、マーケティング、公共政策など、様々な分野で広く活用されており、特に自然実験的な状況での効果測定に適しています。
差と差の分析は、施策や介入の効果を厳密に評価したい場合に特に有効です。この手法は、単純なA/Bテストや前後比較では対応できない、複雑な状況下での効果測定に適しています。
特に、以下のような状況で効果的に活用できます。施策の対象と非対象で明確な区分けがあり、かつ施策実施前後のデータが存在する場合、DiD分析を用いることで、より正確な効果測定が可能となります。例えば、特定の地域や店舗での新サービス導入、特定の顧客層向けのキャンペーン実施、新しい教育プログラムの導入など、様々なビジネスシーンで活用できます。
以下のようなデータが分析に適しています:
Eコマース業界での使い方
小売業界での使い方
マーケティング担当者での使い方
商品企画担当者での使い方
今回は「施策効果検証データ」を使用します。データはこちらからダウンロードが可能となっています。
このデータは特別な施策を実施したユーザーグループの購買データで、1行が1ユーザーの施策実施前後の状態を表しており、列には「ユーザーID」「グループ」「年齢層」「会員ランク」「利用端末」「実施前後」「購買回数」「購入額」といったデータがあります。
差と差の分析(DiD)を実行するためには、以下のようなデータの構造が必要となります。
まず、グループと実施前後の列から交互作用項を作成します。
グループと実施前後の列を選択し、「列を繋げる」を選びます。
区切り文字として「_」を入力し、新しい列名を「交互作用項」とします。 <Image>
施策効果検証データから「アナリティクス・ビュー」を開きます。
タイプに「線形回帰」を選択します。
目的変数には、「購入額」の列を割り当てます。
予測変数には、「グループ」「実施前後」「交互作用項」の列を選択して割り当てます。
最後に、「実行」ボタンをクリックして実行結果を確認します。
影響度タブでは、各変数ごとの実測値の平均値と信頼区間、予測値(今回の場合は実測値の平均値と同一)が表示されます。
施策の対象のグループを比べてみると、実測値の信頼区間が重なっておらず、介入後の方が購入額が高いことがわかります。
施策の対象外の介入前後のグループを比べてみると、実測値の信頼区間が重なっているためにあまり違いがないことがわかります。
施策の対象の介入後以外は、すべて実測値の信頼区間が重なっており、これらの購入額の平均値には統計的に有意な差があると言えないことがわかります。
「係数」タブをクリックすると、各変数の効果を確認することができます。
係数にマウスを重ねることでベースレベルを確認できます。今回のベースレベルは施策対象の介入前となっています。
また、施策対象の介入後の場合は、施策対象の介入前に比べて約「1914円」購入額が高くなり、P値も0.0001より小さいために統計的に有意であることがわかります。
係数表からも、各変数での係数やP値での結果を確認することが可能です。
今回の結果では、施策の効果については、購入額に対して約1,914円の増加する効果が確認されました。また、この結果は統計的に有意な結果(P値
< 0.0001)であることがわかりました。
特に重要なのは、対照群(施策対象外グループ)ではほとんど変化が見られなかった(わずか20円の増加、P値 = 0.923)という点です。これは、観察された改善効果が一般的な市場トレンドや季節要因ではなく、施策そのものによってもたらされたことを表しています。
以上の結果から、今回の施策は購入額の増加に対して明確な効果があったと結論付けることができます。
差と差の分析(DiD)は、施策効果を厳密に測定するための強力な手法です。この手法の特徴は、単純な前後比較や群間比較では捉えきれない様々な外部要因の影響を調整した上で、純粋な施策効果を推定できる点にあります。
特に、自然な時間経過による変化や、グループ固有の特性による違いを考慮する必要がある場合に有効です。Exploratoryでは、交互作用項の列を作成して線形回帰を利用することで、簡単にDiD分析を実行することができます。