Rilevazione degli effetti novità
Gli effetti novità capitano più spesso di quanto molti Data Scientist e Engineer si aspettino. Eseguire un A/B test su una nuova funzione accattivante e prendere una decisione dopo aver visto un forte aumento delle metriche di utilizzo nei primi giorni è uno degli errori più comuni in cui cadono gli analisti alle prime armi.
Il dataset novelty, già caricato, contiene i dati sulla differenza del tempo medio sulla pagina per utente (ToP) tra due varianti. Esamina i risultati nel tempo e verifica se ci sono segnali di effetti novità. Includeresti tutti i risultati dall'inizio alla fine del test?
Questo esercizio fa parte del corso
A/B Testing in Python
esercizio interattivo pratico
Prova questo esercizio completando questo codice di esempio.
# Plot ToP_lift over the test dates
____.____('____', '____')
plt.title('Lift in Time-on-Page Over Test Duration')
plt.ylabel('Minutes')
plt.ylim([0, 20])
plt.show()