Równowaga rozkładów
Kolejnym sposobem na szybkie wykrycie błędu losowania w testach A/B jest sprawdzenie, jak zrównoważone są rozkłady metryk i atrybutów, które nie powinny różnić się między wariantami. Znaczące różnice w udziale procentowym określonych urządzeń, przeglądarek czy systemów operacyjnych – przy założeniu wystarczająco dużych próbek – mogą sygnalizować poważniejsze problemy z wewnętrzną konfiguracją testu. Zbadaj wczytane zbiory danych AdSmart i checkout i sprawdź trafność wewnętrzną na podstawie rozkładów atrybutów. Który zbiór danych wydaje się mieć bardziej poprawną konfigurację wewnętrzną?
Źródło zbioru danych Adsmart na Kaggle znajdziesz tutaj.
To ćwiczenie jest częścią kursu
Testy A/B w Pythonie
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Check the distribution of platform_os by experiment groups
AdSmart.____('____')['____'].____(normalize=____)