Detecção de efeitos de novidade
Efeitos de novidade acontecem com mais frequência do que a maioria dos Data Scientists e Engineers imagina. Executar um teste A/B com um recurso novo e decidir rapidamente após ver um grande aumento nas métricas de uso nos primeiros dias é um dos erros comuns em que analistas iniciantes caem.
O conjunto de dados novelty, já carregado para você, traz dados sobre a diferença no tempo médio na página por usuário (ToP) entre duas variantes. Examine os resultados ao longo do tempo e verifique se há sinais de efeitos de novidade. Você incluiria todos os resultados do início ao fim do teste?
Este exercício faz parte do curso
A/B Testing em Python
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Plot ToP_lift over the test dates
____.____('____', '____')
plt.title('Lift in Time-on-Page Over Test Duration')
plt.ylabel('Minutes')
plt.ylim([0, 20])
plt.show()