1. Učit se
    2. /
  2. Kurzy
    3. /
  3. A/B testování v Pythonu
Connected

cvičení

Rozložení distribucí

Dalším rychlým způsobem, jak zkontrolovat randomizační zkreslení v A/B testech, je sledovat, jak vyvážené nebo nevyvážené jsou distribuce metrik a atributů, které by se mezi různými variantami neměly měnit. Výrazné rozdíly v procentuálním zastoupení určitých zařízení, prohlížečů nebo operačních systémů mohou být – za předpokladu dostatečně velkých vzorků – příznakem hlubších problémů v interním nastavení. Prozkoumej datasety AdSmart a checkout, které jsou pro tebe připraveny, a zkontroluj interní platnost pomocí distribucí atributů. Který dataset vykazuje platnější interní nastavení?

Zdroj datasetu Adsmart na Kaggle najdeš zde.

Instrukce 1/2

undefined XP
  • 1
    • Zkontroluj distribuci platform_os napříč skupinami experiment v datasetu AdSmart.
  • 2
    • Zkontroluj distribuci gender napříč různými designy checkout_page v datasetu checkout.