Echilibrul distribuțiilor
O altă modalitate rapidă de a verifica existența unui bias de randomizare în testele A/B este să analizezi cât de echilibrate sau dezechilibrate sunt distribuțiile metricilor și atributelor care nu ar trebui să varieze între variante. Diferențe semnificative în procentajul anumitor dispozitive, browsere sau sisteme de operare, de exemplu – presupunând că eșantioanele sunt suficient de mari – pot fi simptome ale unor probleme mai profunde în configurarea internă. Examinează seturile de date AdSmart și checkout încărcate pentru tine și verifică validitatea internă folosind distribuțiile atributelor. Care set de date pare să aibă o configurare internă mai validă?
Sursa setului de date Adsmart de pe Kaggle este accesibilă aici.
Acest exercițiu face parte din cursul
A/B Testing în Python
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Check the distribution of platform_os by experiment groups
AdSmart.____('____')['____'].____(normalize=____)