Detección de efectos de novedad
Los efectos de novedad ocurren con más frecuencia de la que muchos Data Scientists e Ingenieros esperan. Ejecutar un test A/B sobre una función nueva y atractiva y tomar la decisión tras ver un gran aumento en las métricas de uso durante los primeros días es uno de los errores comunes en analistas junior.
El conjunto de datos novelty que ya está cargado contiene información sobre la diferencia en el tiempo medio en página por usuario (ToP) entre dos variantes. Examina los resultados a lo largo del tiempo y comprueba si hay indicios de efectos de novedad. ¿Incluirías todos los resultados desde el inicio hasta el final del test?
Este ejercicio forma parte del curso
A/B Testing en Python
Ejercicio interactivo práctico
Prueba este ejercicio y completa el código de muestra.
# Plot ToP_lift over the test dates
____.____('____', '____')
plt.title('Lift in Time-on-Page Over Test Duration')
plt.ylabel('Minutes')
plt.ylim([0, 20])
plt.show()