シンプソンのパラドックスを体感する

A/B テストの結果を母集団内のさまざまなセグメントに一般化できるかどうかは、ビジネスにとって非常に重要です。都市ごとやデバイスごとに追加のテストを行うコストを節約したい場面もあります。サブ集団ごとに結果が一貫していることを確認できれば、そのような一般化に自信を持てます。

A/B テストのシナリオでこの現象がどのように起こり得るかを理解するために、simp_balanced と simp_imbalanced のデータセットを調べ、シンプソンのパラドックスを確認しましょう。