Teď se zaměříme na analýzu síly testu. Zpravidla chceš mít jistotu, že každý experiment nebo A/B test, který spustíš, má sílu alespoň 80 %. Jedním ze způsobů, jak toho dosáhnout, je vypočítat velikost vzorku potřebnou k dosažení 80% síly.

Představ si, že máš na starosti zpravodajský web a chceš zvýšit dobu, kterou uživatelé na webu stráví. V současnosti se tato doba řídí normálním rozdělením s průměrem 1 minuta a směrodatnou odchylkou 0,5 minuty. Uvažuješ o zavedení funkce, která urychlí načítání stránek, a chceš zjistit, jak velký vzorek potřebuješ k měření 5% nárůstu doby strávené na webu.

V tomto cvičení připravíš framework pro spuštění jedné simulace, provedení t-testu a výpočet p-hodnoty.

Závěr

Create Your Free Account