Rozložení distribucí
Dalším rychlým způsobem, jak zkontrolovat randomizační zkreslení v A/B testech, je sledovat, jak vyvážené nebo nevyvážené jsou distribuce metrik a atributů, které by se mezi různými variantami neměly měnit. Výrazné rozdíly v procentuálním zastoupení určitých zařízení, prohlížečů nebo operačních systémů mohou být – za předpokladu dostatečně velkých vzorků – příznakem hlubších problémů v interním nastavení. Prozkoumej datasety AdSmart a checkout, které jsou pro tebe připraveny, a zkontroluj interní platnost pomocí distribucí atributů. Který dataset vykazuje platnější interní nastavení?
Zdroj datasetu Adsmart na Kaggle najdeš zde.
Toto cvičení je součástí kurzu
A/B testování v Pythonu
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Check the distribution of platform_os by experiment groups
AdSmart.____('____')['____'].____(normalize=____)