1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Zákaznická analytika a A/B testování v Pythonu
Connected

cvičení

Intuice za statistickou významností

V tomto cvičení si vybudujeme intuitivní pochopení statistické významnosti. Využijeme funkci get_pvalue() na různých sadách parametrů, které mohou reálně nastat během A/B testu. Sleduj, jak se výsledky statistické významnosti mění v závislosti na parametrech. Pomůže ti to lépe porozumět tomuto konceptu a odhalit některá záludná úskalí p-hodnot. Jako připomínka, toto je signatura funkce get_pvalue():

def get_pvalue(con_conv, test_conv, con_size, test_size):  
    lift =  - abs(test_conv - con_conv)

    scale_one = con_conv * (1 - con_conv) * (1 / con_size)
    scale_two = test_conv * (1 - test_conv) * (1 / test_size)
    scale_val = (scale_one + scale_two)**0.5

    p_value = 2 * stats.norm.cdf(lift, loc = 0, scale = scale_val )

    return p_value

Instrukce 1/3

undefined XP
  • 1

    Zjisti p-hodnotu s počáteční mírou konverze 0.1, testovací mírou konverze 0.17 a 1000 pozorováními v každé skupině.

  • 2

    Zjisti p-hodnotu s kontrolní mírou konverze 0.1, testovací mírou konverze 0.15 a 100 pozorováními v každé skupině.

  • 3

    Nyní zjisti p-hodnotu s kontrolní mírou konverze 0.48, testovací mírou konverze 0.50 a 1000 pozorováními v každé skupině.