1. Nauka
    2. /
  2. Kursy
    3. /
  3. Testy A/B w Pythonie
Connected

ćwiczenie

SRM

Projektując eksperyment, w którym jednostki (np. użytkownicy) są przydzielane do wariantów w określonych proporcjach, spodziewamy się pewnych niewielkich odchyleń – wynikających z problemów z logowaniem, opóźnień, drobnych błędów instrumentacyjnych itp. Jeśli jednak odchylenie jest większe niż oczekiwane, zazwyczaj świadczy to o poważniejszym problemie, który może unieważnić wyniki testu i wprowadzić do nich błąd. Celem tego ćwiczenia jest zbadanie technik statystycznych pozwalających wykryć przypadki, gdy niezgodność alokacji jest zbyt duża, by przypisać ją przypadkowi.

Jako inżynier analityki możesz być odpowiedzialny za projektowanie, a nawet automatyzację frameworków wykrywających niezgodność współczynników próby (SRM) w testach A/B. Ramka danych checkout jest już wczytana, podobnie jak biblioteki pandas i numpy. Przyjmij, że grupą kontrolną jest wersja 'A' strony checkout, a grupą testową – wersja 'B'.

Instrukcje 1/3

undefined XP
    1
    2
    3
  • Oblicz liczbę unikalnych użytkowników (user_id) w grupach 'A' i 'B', a łączną liczbę użytkowników przypisz do zmiennej total_users.