SRM
Când proiectăm un experiment pentru a aloca unități de înrolare (de exemplu, utilizatori) la un anumit procentaj per variantă, ne așteptăm la mici variații cauzate de probleme de jurnalizare, întârzieri, erori minore de instrumentare etc. Când această abatere este mai mare decât cea așteptată, este de obicei un semnal că există o problemă mai gravă, care ar putea invalida și distorsiona rezultatele testului. Scopul acestui exercițiu este să examinezi tehnicile statistice care îți permit să detectezi cazurile în care nepotrivirea de alocare este prea mare pentru a fi atribuită hazardului.
În calitate de inginer de analiză, rolul tău poate implica proiectarea și chiar automatizarea unor framework-uri pentru detectarea nepotrivirilor de raport de eșantion (SRM) în testele A/B. DataFrame-ul checkout este deja încărcat, împreună cu bibliotecile pandas și numpy. Să considerăm grupul de control ca fiind designul 'A' al checkout-ului și grupul de tratament ca fiind 'B'.
Acest exercițiu face parte din cursul
A/B Testing în Python
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Assign the unqiue counts to each variant
control_users = ____
treatment_users = ____
total_users = ____ + ____
print("Control unique users:",control_users)
print("Control unique users:",treatment_users)