Analýza síly testu – část II

V předchozím cvičení jsme simulovali jeden průběh experimentu a získali jsme p-hodnotu. Teď tento postup využijeme k výpočtu statistické síly testu. Statistická síla vyjadřuje, jak dobře je experiment schopen odhalit rozdíl mezi testovanou a kontrolní skupinou, pokud takový rozdíl skutečně existuje. Dobrou praxí je usilovat o sílu testu alespoň 80 %.

Pro náš web chceme zjistit, kolik návštěvníků musí vidět každou variantu, abychom s 80% silou testu zachytili 10% nárůst stráveného času. Začneme s malým vzorkem (50), simulujeme více průběhů experimentu a zkontrolujeme sílu testu. Pokud dosáhneme 80 %, zastavíme se. Pokud ne, zvětšíme vzorek a zkusíme to znovu.

Pro náhodné proměnné time_spent nastav parametr size jako n-tici tak, aby výsledný tvar byl sample_size \(\times\) sims.
Vypočítej power jako podíl p-hodnot menších než 0,05 (statisticky významných).
Pokud je power větší nebo rovno 80 %, ukonči while smyčku pomocí break. Jinak pokračuj v navyšování sample_size o 10.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}cvičení

Pokyny

cvičení