SRM
Projektując eksperyment, w którym jednostki (np. użytkownicy) są przydzielane do wariantów w określonych proporcjach, spodziewamy się pewnych niewielkich odchyleń – wynikających z problemów z logowaniem, opóźnień, drobnych błędów instrumentacyjnych itp. Jeśli jednak odchylenie jest większe niż oczekiwane, zazwyczaj świadczy to o poważniejszym problemie, który może unieważnić wyniki testu i wprowadzić do nich błąd. Celem tego ćwiczenia jest zbadanie technik statystycznych pozwalających wykryć przypadki, gdy niezgodność alokacji jest zbyt duża, by przypisać ją przypadkowi.
Jako inżynier analityki możesz być odpowiedzialny za projektowanie, a nawet automatyzację frameworków wykrywających niezgodność współczynników próby (SRM) w testach A/B. Ramka danych checkout jest już wczytana, podobnie jak biblioteki pandas i numpy. Przyjmij, że grupą kontrolną jest wersja 'A' strony checkout, a grupą testową – wersja 'B'.
To ćwiczenie jest częścią kursu
Testy A/B w Pythonie
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Assign the unqiue counts to each variant
control_users = ____
treatment_users = ____
total_users = ____ + ____
print("Control unique users:",control_users)
print("Control unique users:",treatment_users)