1. Učit se
    2. /
  2. Kurzy
    3. /
  3. A/B testování v Pythonu
Connected

cvičení

Detekce efektu novosti

Efekt novosti se vyskytuje častěji, než by většina datových vědců a inženýrů čekala. Jednou z typických chyb, do kterých začínající analytici padají, je spustit A/B test nové funkce a rozhodnout se na základě velkého nárůstu metrik v prvních několika dnech.

Dataset novelty, který je pro tebe načtený, obsahuje data o rozdílu v průměrném čase stráveném na stránce na uživatele (ToP) mezi dvěma variantami. Prozkoumej výsledky v čase a zjisti, jestli se neprojevují nějaké známky efektu novosti. Zahrnul/a bys do analýzy všechna data od začátku do konce testu?

Pokyny 1/2

undefined XP
    1
    2
  • Vykresli lift metriky času na stránce ToP_lift v průběhu trvání experimentu.