シンプソンのパラドックスを体感する
A/B テストの結果を母集団内のさまざまなセグメントに一般化できるかどうかは、ビジネスにとって非常に重要です。都市ごとやデバイスごとに追加のテストを行うコストを節約したい場面もあります。サブ集団ごとに結果が一貫していることを確認できれば、そのような一般化に自信を持てます。
A/B テストのシナリオでこの現象がどのように起こり得るかを理解するために、simp_balanced と simp_imbalanced のデータセットを調べ、シンプソンのパラドックスを確認しましょう。
この演習はコースの一部です
Pythonで学ぶA/Bテスト
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Calculate the conversion rate per variant and then browser
imbalanced_variant_rate = simp_imbalanced.____('____')['____'].____()
imbalanced_variant_browser_rate = simp_imbalanced.____(['____','____'])['____'].____()
print(imbalanced_variant_rate)
print(imbalanced_variant_browser_rate)