Explorando o cálculo de poder
Como discutido, poder é a probabilidade de rejeitar a hipótese nula quando a hipótese alternativa é verdadeira. Aqui você vai explorar algumas propriedades da função poder e ver como ela se relaciona ao tamanho da amostra, entre outros parâmetros. A função get_power() foi incluída e recebe os seguintes argumentos nesta ordem: n para o tamanho da amostra, p1 como o valor de referência (baseline), p2 como o valor com lift incluído, e cl como o nível de confiança.
Este exercício faz parte do curso
Customer Analytics and A/B Testing in Python
Instruções do exercício
- Calcule o poder usando
n=1000en=2000, nessa ordem, junto com os parâmetros pré-carregadosp1,p2ecl. - Usando a variável
n1para o tamanho da amostra, encontre o poder com nível de confiançacl=0.8ecl=0.95, nessa ordem. - Clique em 'Enviar Resposta' para comparar as razões. Qual mudança tem maior impacto: aumentar o nível de confiança ou o tamanho da amostra?
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Look at the impact of sample size increase on power
n_param_one = get_power(n=____, p1=p1, p2=p2, cl=cl)
n_param_two = get_power(n=____, p1=____, p2=____, cl=____)
# Look at the impact of confidence level increase on power
alpha_param_one = get_power(n=n1, p1=p1, p2=p2, cl=____)
alpha_param_two = get_power(n=____, p1=____, p2=____, cl=____)
# Compare the ratios
print(n_param_two / n_param_one)
print(alpha_param_one / alpha_param_two)