1. Learn
    2. /
  2. Cursuri
    3. /
  3. Analiză de clienți și testare A/B în Python
Connected

exercițiu

Intuiția din spatele semnificației statistice

În acest exercițiu vei dobândi o înțelegere intuitivă a semnificației statistice. Vei folosi funcția get_pvalue() pe diverse seturi de parametri care pot apărea în mod rezonabil în cadrul unui test A/B. Pe parcurs, observă cum variază rezultatele semnificației statistice atunci când modifici parametrii. Acest lucru te va ajuta să-ți construiești intuiția în jurul acestui concept și să descoperi unele dintre capcanele subtile ale valorilor p. Ca reminder, aceasta este semnătura funcției get_pvalue():

def get_pvalue(con_conv, test_conv, con_size, test_size):  
    lift =  - abs(test_conv - con_conv)

    scale_one = con_conv * (1 - con_conv) * (1 / con_size)
    scale_two = test_conv * (1 - test_conv) * (1 / test_size)
    scale_val = (scale_one + scale_two)**0.5

    p_value = 2 * stats.norm.cdf(lift, loc = 0, scale = scale_val )

    return p_value

Instrucțiuni 1/3

undefined XP
  • 1

    Calculează valoarea p cu rata de conversie inițială de 0.1, rata de conversie pentru grupul de test de 0.17 și 1000 de observații în fiecare grup.

  • 2

    Calculează valoarea p cu rata de conversie pentru grupul de control de 0.1, rata de conversie pentru grupul de test de 0.15 și 100 de observații în fiecare grup.

  • 3

    Calculează acum valoarea p cu rata de conversie pentru grupul de control de 0.48, rata de conversie pentru grupul de test de 0.50 și 1000 de observații în fiecare grup.