1. Učit se
    2. /
  2. Kurzy
    3. /
  3. A/B testování v Pythonu
Connected

cvičení

SRM

Když navrhujeme experiment, v němž přiřazujeme jednotky (např. uživatele) do variant v určitém poměru, očekáváme drobné odchylky způsobené problémy s logováním, zpožděním, drobnými chybami v instrumentaci apod. Pokud je ale odchylka větší, než by odpovídalo náhodě, jde zpravidla o příznak závažnějšího problému, který může naše výsledky zneplatnit a zkreslit. Cílem tohoto cvičení je prozkoumat statistické techniky, které ti pomohou odhalit případy, kdy je nesoulad v alokaci příliš velký na to, aby ho šlo přičíst náhodě.

Jako analytický inženýr/inženýrka možná budeš mít za úkol navrhovat a automatizovat systémy pro detekci nesouladu v poměru vzorků (sample ratio mismatch) v A/B testech. DataFrame checkout je pro tebe načten spolu s knihovnami pandas a numpy. Kontrolní skupinu tvoří design 'A' stránky checkout a testovací skupinu design 'B'.

Pokyny 1/3

undefined XP
    1
    2
    3
  • Spočítej počet unikátních uživatelů (user_id) ve skupinách 'A' a 'B' a celkový počet uživatelů ulož do proměnné total_users.