Erkennung von Neuheitseffekten
Neuheitseffekte treten häufiger auf, als die meisten Data Scientists und Engineers erwarten. Einen A/B-Test für ein neues, cooles Feature zu starten und die Entscheidung zu früh zu treffen, nur weil die Nutzungsmetriken in den ersten Tagen stark ansteigen, ist ein häufiger Fehler, in den Junior-Analyst:innen tappen.
Der für dich geladene Datensatz novelty enthält Daten zur Differenz der durchschnittlichen Verweildauer pro Nutzer:in (Time on Page, ToP) zwischen zwei Varianten. Untersuche die Ergebnisse im Zeitverlauf und prüfe, ob es Anzeichen für Neuheitseffekte gibt. Würdest du alle Ergebnisse vom Start bis zum Ende des Tests einbeziehen?
Diese Übung ist Teil des Kurses
<Kurs>A/B-Tests in Python</Kurs>Interaktive praktische Übung
Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.
# Plot ToP_lift over the test dates
____.____('____', '____')
plt.title('Lift in Time-on-Page Over Test Duration')
plt.ylabel('Minutes')
plt.ylim([0, 20])
plt.show()