1. Nauka
    2. /
  2. Kursy
    3. /
  3. Analityka klientów i testy A/B w Pythonie
Connected

ćwiczenie

Intuicja za istotności statystycznej

W tym ćwiczeniu rozwiniesz intuicyjne rozumienie istotności statystycznej. Wykorzystasz do tego funkcję get_pvalue() na różnych zestawach parametrów, które mogą pojawić się podczas testu A/B. Obserwuj, jak wyniki istotności statystycznej zmieniają się wraz z modyfikacją parametrów. Pomoże ci to zbudować intuicję wokół tego pojęcia i odkryć kilka subtelnych pułapek związanych z p-wartościami. Dla przypomnienia, oto sygnatura funkcji get_pvalue():

def get_pvalue(con_conv, test_conv, con_size, test_size):  
    lift =  - abs(test_conv - con_conv)

    scale_one = con_conv * (1 - con_conv) * (1 / con_size)
    scale_two = test_conv * (1 - test_conv) * (1 / test_size)
    scale_val = (scale_one + scale_two)**0.5

    p_value = 2 * stats.norm.cdf(lift, loc = 0, scale = scale_val )

    return p_value

Instrukcje 1/3

undefined XP
  • 1

    Wyznacz p-wartość dla początkowego współczynnika konwersji 0.1, testowego współczynnika konwersji 0.17 i 1000 obserwacji w każdej grupie.

  • 2

    Wyznacz p-wartość dla współczynnika konwersji grupy kontrolnej 0.1, grupy testowej 0.15 i 100 obserwacji w każdej grupie.

  • 3

    Wyznacz p-wartość dla współczynnika konwersji grupy kontrolnej 0.48, grupy testowej 0.50 i 1000 obserwacji w każdej grupie.