Erkennung von Neuheitseffekten
Neuheitseffekte treten häufiger auf, als die meisten Data Scientists und Engineers erwarten. Einen A/B-Test für ein neues, cooles Feature zu starten und die Entscheidung zu früh zu treffen, nur weil die Nutzungsmetriken in den ersten Tagen stark ansteigen, ist ein häufiger Fehler, in den Junior-Analyst:innen tappen.
Der für dich geladene Datensatz novelty enthält Daten zur Differenz der durchschnittlichen Verweildauer pro Nutzer:in (Time on Page, ToP) zwischen zwei Varianten. Untersuche die Ergebnisse im Zeitverlauf und prüfe, ob es Anzeichen für Neuheitseffekte gibt. Würdest du alle Ergebnisse vom Start bis zum Ende des Tests einbeziehen?
Diese Übung ist Teil des Kurses
A/B-Tests in Python
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
# Plot ToP_lift over the test dates
____.____('____', '____')
plt.title('Lift in Time-on-Page Over Test Duration')
plt.ylabel('Minutes')
plt.ylim([0, 20])
plt.show()