Wykrywanie efektów nowości
Efekty nowości zdarzają się częściej, niż większość analityków i inżynierów danych by się spodziewała. Jednym z typowych błędów popełnianych przez początkujących analityków jest uruchamianie testu A/B dla nowej funkcji, a następnie wyciąganie wniosków po zaobserwowaniu dużego wzrostu wskaźników użycia w ciągu pierwszych kilku dni.
Zbiór danych novelty zawiera informacje o różnicy w średnim czasie spędzonym na stronie przez użytkownika (ToP) między dwiema wariantami. Przeanalizuj wyniki w czasie i sprawdź, czy widoczne są jakiekolwiek oznaki efektów nowości. Czy uwzględniłoby się wszystkie wyniki od początku do końca testu?
To ćwiczenie jest częścią kursu
Testy A/B w Pythonie
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Plot ToP_lift over the test dates
____.____('____', '____')
plt.title('Lift in Time-on-Page Over Test Duration')
plt.ylabel('Minutes')
plt.ylim([0, 20])
plt.show()