SRM
Quando projetamos um experimento para alocar unidades de inscrição (por exemplo, usuários) em uma determinada porcentagem por variante, esperamos pequenas variações devido a problemas de registro, atrasos, bugs leves de instrumentação etc. Quando esse desvio é maior do que o esperado, porém, isso geralmente indica um problema mais sério que pode invalidar e enviesar os resultados do teste. O objetivo deste exercício é analisar as técnicas estatísticas que permitem detectar casos em que a discrepância de alocação é grande demais para ser atribuída apenas ao acaso.
Como analytics engineer, seu papel pode exigir que você projete e até automatize estruturas para detectar sample ratio mismatches em testes A/B. O DataFrame checkout já está carregado para você, junto com as bibliotecas pandas e numpy. Vamos considerar o grupo de controle como o design 'A' de checkout e o grupo de tratamento como 'B'.
Este exercício faz parte do curso
A/B Testing em Python
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Assign the unqiue counts to each variant
control_users = ____
treatment_users = ____
total_users = ____ + ____
print("Control unique users:",control_users)
print("Control unique users:",treatment_users)