SRM
Když navrhujeme experiment, v němž přiřazujeme jednotky (např. uživatele) do variant v určitém poměru, očekáváme drobné odchylky způsobené problémy s logováním, zpožděním, drobnými chybami v instrumentaci apod. Pokud je ale odchylka větší, než by odpovídalo náhodě, jde zpravidla o příznak závažnějšího problému, který může naše výsledky zneplatnit a zkreslit. Cílem tohoto cvičení je prozkoumat statistické techniky, které ti pomohou odhalit případy, kdy je nesoulad v alokaci příliš velký na to, aby ho šlo přičíst náhodě.
Jako analytický inženýr/inženýrka možná budeš mít za úkol navrhovat a automatizovat systémy pro detekci nesouladu v poměru vzorků (sample ratio mismatch) v A/B testech. DataFrame checkout je pro tebe načten spolu s knihovnami pandas a numpy. Kontrolní skupinu tvoří design 'A' stránky checkout a testovací skupinu design 'B'.
Toto cvičení je součástí kurzu
A/B testování v Pythonu
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Assign the unqiue counts to each variant
control_users = ____
treatment_users = ____
total_users = ____ + ____
print("Control unique users:",control_users)
print("Control unique users:",treatment_users)