1. Nauka
    2. /
  2. Kursy
    3. /
  3. Testy A/B w Pythonie
Connected

ćwiczenie

Równowaga rozkładów

Kolejnym sposobem na szybkie wykrycie błędu losowania w testach A/B jest sprawdzenie, jak zrównoważone są rozkłady metryk i atrybutów, które nie powinny różnić się między wariantami. Znaczące różnice w udziale procentowym określonych urządzeń, przeglądarek czy systemów operacyjnych – przy założeniu wystarczająco dużych próbek – mogą sygnalizować poważniejsze problemy z wewnętrzną konfiguracją testu. Zbadaj wczytane zbiory danych AdSmart i checkout i sprawdź trafność wewnętrzną na podstawie rozkładów atrybutów. Który zbiór danych wydaje się mieć bardziej poprawną konfigurację wewnętrzną?

Źródło zbioru danych Adsmart na Kaggle znajdziesz tutaj.

Instrukcje 1/2

undefined XP
  • 1
    • Sprawdź rozkład platform_os w grupach experiment w zbiorze danych AdSmart.
  • 2
    • Sprawdź rozkład gender w poszczególnych wariantach checkout_page w zbiorze danych checkout.