差の差 (Difference-in-Differences) の分析の紹介

差の差の分析(Difference-in-Differences、DiD)は、特定の施策や介入の効果を評価するための分析手法です。この手法は、施策を実施したグループ(処置群)と実施していないグループ(対照群)の、施策実施前後での変化の差を比較することで、純粋な施策の効果を測定することができます。

DiD分析の特徴は、単純な前後比較や群間比較では捉えきれない、時間とともに変化する要因や、グループ固有の特性による影響を取り除くことができる点です。例えば、ある店舗での新しい販促施策の効果を測定する際、季節要因による売上の自然増加分や、店舗の立地による売上の違いなどの影響を調整した上で、純粋な施策の効果を推定することが可能となります。

DiD分析では、施策実施前の処置群と対照群の差(第一の差)と、施策実施後の処置群と対照群の差(第二の差)を比較します。この「差の差」を計算することで、他の要因による影響を取り除いた、真の施策効果を推定することができます。この手法は、経済学、マーケティング、公共政策など、様々な分野で広く活用されており、特に自然実験的な状況での効果測定に適しています。

1. どういった時に使えるのか

差と差の分析は、施策や介入の効果を厳密に評価したい場合に特に有効です。この手法は、単純なA/Bテストや前後比較では対応できない、複雑な状況下での効果測定に適しています。

特に、以下のような状況で効果的に活用できます。施策の対象と非対象で明確な区分けがあり、かつ施策実施前後のデータが存在する場合、DiD分析を用いることで、より正確な効果測定が可能となります。例えば、特定の地域や店舗での新サービス導入、特定の顧客層向けのキャンペーン実施、新しい教育プログラムの導入など、様々なビジネスシーンで活用できます。

以下のようなデータが分析に適しています:

  • 施策実施店舗と未実施店舗の売上推移データ
  • 新機能テストユーザーと非テストユーザーの利用状況データ
  • キャンペーン対象顧客と非対象顧客の購買行動データ
  • 新制度導入地域と未導入地域の各種指標データ

2. ユースケース

  • Eコマース業界での使い方

    • Eコマース業界では、例えば新しい商品レコメンド機能の効果測定時に使えます。
    • 具体的には、レコメンド機能を導入したユーザーグループとそうでないグループの購買行動を比較することで、純粋な機能の効果を測定できます。
    • これにより、季節要因や市場トレンドの影響を除いた上で、レコメンド機能が実際にどの程度売上向上に寄与したのかを把握し、機能の改善方針を決定できます。
  • 小売業界での使い方

    • 小売業界では、新しい店舗レイアウトの効果測定に活用できます。
    • 具体的には、レイアウトを変更した店舗群と従来のレイアウトの店舗群の売上推移を比較することで、レイアウト変更の純粋な効果を測定できます。
    • これにより、季節性や地域特性の影響を除いた上で、レイアウト変更がどの程度売上に影響を与えたのかを把握し、全店展開の判断材料とできます。
  • マーケティング担当者での使い方

    • マーケティング担当者は、新規プロモーション施策の効果測定に活用できます。
    • 具体的には、プロモーション対象顧客と非対象顧客の購買行動を比較することで、プロモーションの純粋な効果を測定できます。
    • これにより、一般的な購買傾向の変化を除いた上で、プロモーションがどの程度売上向上に寄与したのかを把握し、次回のプロモーション戦略立案に活かせます。
  • 商品企画担当者での使い方

    • 商品企画担当者は、新商品のパッケージデザイン変更の効果測定に活用できます。
    • 具体的には、新パッケージを導入した商品群と従来パッケージの商品群の売上推移を比較することで、デザイン変更の純粋な効果を測定できます。
    • これにより、季節要因や競合の影響を除いた上で、パッケージデザイン変更がどの程度売上に影響を与えたのかを把握し、他商品への展開判断に活用できます。

3. Exploratoryで差と差の分析(DiD)を実行する

使用するデータ

今回は「施策効果検証データ」を使用します。データはこちらからダウンロードが可能となっています。

このデータは特別な施策を実施したユーザーグループの購買データで、1行が1ユーザーの施策実施前後の状態を表しており、列には「ユーザーID」「グループ」「年齢層」「会員ランク」「利用端末」「実施前後」「購買回数」「購入額」といったデータがあります。

差と差の分析(DiD)を実行するためには、以下のようなデータの構造が必要となります。

  • 施策実施グループを区別する列(処置群/対照群)
  • 施策の実施前後を区別する時点列
  • 効果を測定したい目的変数の列
  • その他の関連する特徴量の列(オプショナル)

DiDのための交互作用項列の作成

まず、グループと実施前後の列から交互作用項を作成します。

グループと実施前後の列を選択し、「列を繋げる」を選びます。

区切り文字として「_」を入力し、新しい列名を「交互作用項」とします。 <Image>

線形回帰を使ってDiD分析を実行する

施策効果検証データから「アナリティクス・ビュー」を開きます。

タイプに「線形回帰」を選択します。

目的変数には、「購入額」の列を割り当てます。

予測変数には、「グループ」「実施前後」「交互作用項」の列を選択して割り当てます。

最後に、「実行」ボタンをクリックして実行結果を確認します。

結果の解釈

影響度

影響度タブでは、各変数ごとの実測値の平均値と信頼区間、予測値(今回の場合は実測値の平均値と同一)が表示されます。

施策の対象のグループを比べてみると、実測値の信頼区間が重なっておらず、介入後の方が購入額が高いことがわかります。

施策の対象外の介入前後のグループを比べてみると、実測値の信頼区間が重なっているためにあまり違いがないことがわかります。

施策の対象の介入後以外は、すべて実測値の信頼区間が重なっており、これらの購入額の平均値には統計的に有意な差があると言えないことがわかります。

係数

「係数」タブをクリックすると、各変数の効果を確認することができます。

係数にマウスを重ねることでベースレベルを確認できます。今回のベースレベルは施策対象の介入前となっています。

また、施策対象の介入後の場合は、施策対象の介入前に比べて約「1914円」購入額が高くなり、P値も0.0001より小さいために統計的に有意であることがわかります。

係数表からも、各変数での係数やP値での結果を確認することが可能です。

今回の結果では、施策の効果については、購入額に対して約1,914円の増加する効果が確認されました。また、この結果は統計的に有意な結果(P値 < 0.0001)であることがわかりました。

特に重要なのは、対照群(施策対象外グループ)ではほとんど変化が見られなかった(わずか20円の増加、P値 = 0.923)という点です。これは、観察された改善効果が一般的な市場トレンドや季節要因ではなく、施策そのものによってもたらされたことを表しています。

以上の結果から、今回の施策は購入額の増加に対して明確な効果があったと結論付けることができます。

4. まとめ

差と差の分析(DiD)は、施策効果を厳密に測定するための強力な手法です。この手法の特徴は、単純な前後比較や群間比較では捉えきれない様々な外部要因の影響を調整した上で、純粋な施策効果を推定できる点にあります。

特に、自然な時間経過による変化や、グループ固有の特性による違いを考慮する必要がある場合に有効です。Exploratoryでは、交互作用項の列を作成して線形回帰を利用することで、簡単にDiD分析を実行することができます。

参考資料

  • アナリティクス・ギャラリー - リンク
  • 線形回帰の使い方 - リンク
Export Chart Image
Output Format
PNG SVG
Background
Set background transparent
Size
Width (Pixel)
Height (Pixel)
Pixel Ratio