1. 学ぶ
    2. /
  2. コース
    3. /
  3. Python による顧客分析と A/B テスト
Connected

演習

統計的有意性の直感的理解

この演習では、統計的有意性について直感的な理解を深めましょう。A/Bテストの過程で設定しうる様々なパラメータに対して get_pvalue() 関数を使用し、パラメータを変化させたときに統計的有意性の結果がどのように変わるかを観察します。これにより、この概念に対する直感を養い、p値に潜む落とし穴についても理解を深めることができます。参考として、get_pvalue() 関数のシグネチャを以下に示します。

def get_pvalue(con_conv, test_conv, con_size, test_size):  
    lift =  - abs(test_conv - con_conv)

    scale_one = con_conv * (1 - con_conv) * (1 / con_size)
    scale_two = test_conv * (1 - test_conv) * (1 / test_size)
    scale_val = (scale_one + scale_two)**0.5

    p_value = 2 * stats.norm.cdf(lift, loc = 0, scale = scale_val )

    return p_value

指示1 / 3

undefined XP
  • 1

    コントロール群のコンバージョン率を 0.1、テスト群のコンバージョン率を 0.17、各グループの観測数を 1000 としてp値を求めましょう。

  • 2

    コントロール群のコンバージョン率を 0.1、テスト群のコンバージョン率を 0.15、各グループの観測数を 100 としてp値を求めましょう。

  • 3

    次に、コントロール群のコンバージョン率を 0.48、テスト群のコンバージョン率を 0.50、各グループの観測数を 1000 としてp値を求めましょう。