Equilíbrio das distribuições
Outra forma de verificar rapidamente viés de randomização em nossos testes A/B é observar quão equilibradas (ou desequilibradas) estão as distribuições de métricas e atributos que não deveriam mudar entre as variantes. Diferenças grandes na porcentagem de certos dispositivos, navegadores ou sistemas operacionais, por exemplo — assumindo que nossas amostras sejam grandes o suficiente — podem indicar problemas maiores na configuração interna. Analise os conjuntos de dados AdSmart e checkout que já estão carregados e verifique a validade interna usando as distribuições dos atributos. Qual conjunto de dados parece ter uma configuração interna mais válida?
A fonte do conjunto de dados Adsmart no Kaggle está vinculada aqui. (https://www.kaggle.com/datasets/osuolaleemmanuel/ad-ab-testing)
Este exercício faz parte do curso
A/B Testing em Python
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Check the distribution of platform_os by experiment groups
AdSmart.____('____')['____'].____(normalize=____)