1. เรียนรู้
    2. /
  2. Courses
    3. /
  3. Pythonで学ぶA/Bテスト
Connected

Exercises

分布のバランスを確認する

A/Bテストでランダム化の偏りを手早く確認するもう一つの方法は、本来はバリアント間で変化しないはずの指標や属性の分布が、どの程度バランスしているか（あるいはアンバランスか）を確認することです。サンプルサイズが十分に大きいと仮定したうえで、デバイス・ブラウザ・OSの割合に大きな差が見られる場合は、内部設定により大きな問題がある兆候かもしれません。読み込まれている AdSmart と checkout の各データセットを確認し、属性の分布を用いて内部妥当性をチェックしてください。どちらのデータセットのほうが内部設定がより妥当に見えますか？

Adsmart のKaggleデータセットの出典はこちらです。

คำแนะนำ 1 / 2

undefined XP
  • 1
    • AdSmart データセットで、experiment グループごとの platform_os の分布を確認してください。
  • 2
    • checkout データセットで、checkout_page デザインごとの gender の分布を確認してください。