Delta czy nie?

Analizując metryki ilorazowe, jednostka analizy w interesującej nas metryce bywa bardziej szczegółowa niż jednostka randomizacji. Na przykład możemy przeprowadzić randomizację na poziomie user_id i badać wpływ zmian na metryki na poziomie sesji lub odsłon strony. Takie podejście narusza pewne założenia dotyczące obliczania wariancji, które są podstawą testów istotności. Metoda Delta pozwala uwzględnić tę rozbieżność.

To ćwiczenie jest częścią kursu

Testy A/B w Pythonie

Interaktywne ćwiczenie praktyczne

Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń

Rozpocznij ćwiczenie

To ćwiczenie jest częścią kursu

Testy A/B w Pythonie

SkillTag.level.intermediateSkillTag.label

4.8+

Rozpocznij kurs za darmo

W tym rozdziale poznasz podstawy testów A/B. Przeanalizujesz konkretne kroki i przypadki użycia, dowiesz się, dlaczego warto projektować i przeprowadzać testy A/B, oraz zapoznasz się z najczęściej stosowanymi metodami projektowania i szacowania metryk.

Exercise 1: Czym jest testowanie A/B?Exercise 2: Kiedy test A/B nie jest najlepszym rozwiązaniem Exercise 3: Kroki testu A/B Exercise 4: Efekty randomizacji Exercise 5: Po co przeprowadzać eksperymenty?Exercise 6: Wizualizacja korelacji Exercise 7: Korelacja czy przyczynowość?Exercise 8: Projektowanie metryk i estymacja Exercise 9: Średnie i proporcje Exercise 10: Metryki wyświetleń reklam

W rozdziale 2. omówisz proces projektowania eksperymentu. Zaczniesz od formułowania mocnych hipotez na potrzeby testów A/B, a następnie przejdziesz do pojęć statystycznych, takich jak moc testu, poziomy błędów i minimalne wykrywalne efekty. Na koniec nauczysz się szacować odpowiednią wielkość próby potrzebną do uzyskania jednoznacznych wyników i poradzisz sobie ze scenariuszami obejmującymi wielokrotne porównania.

Exercise 1: Formułowanie hipotez i rozkłady Exercise 2: Formułowanie mocnej hipotezy Exercise 3: Wizualizacja rozkładów Exercise 4: Centralne twierdzenie graniczne dla średnich Exercise 5: Projekt eksperymentu: ustalanie parametrów testowania Exercise 6: Interpretacja wartości p Exercise 7: Wskaźniki błędów w praktyce Exercise 8: Projektowanie eksperymentu: analiza mocy Exercise 9: Rysowanie krzywych mocy Exercise 10: Wielkość próby dla wartości średnich Exercise 11: Wielkość próby dla proporcji Exercise 12: Testy wielokrotnych porównań Exercise 13: Czy potrzebna jest korekta dla wielokrotnych porównań?Exercise 14: Skorygowane wartości p

Tutaj poznasz konkretny tok pracy przy czyszczeniu, przetwarzaniu wstępnym i eksploracji danych z testów A/B, a także niezbędne kontrole poprawności, które trzeba wykonać, aby zagwarantować wiarygodność wyników. Szczegółowo omówisz i przeanalizujesz przykład testu A/B badającego różnice w proporcjach.

Exercise 1: Czyszczenie danych i analiza eksploracyjna Exercise 2: EDA proporcji Exercise 3: Czyszczenie danych testu A/B Exercise 4: Kontrole poprawności: trafność wewnętrzna Exercise 5: SRM Exercise 6: Równowaga rozkładów Exercise 7: Kontrole poprawności: trafność zewnętrzna Exercise 8: Wykrywanie efektów nowości Exercise 9: Paradoks Simpsona w praktyce Exercise 10: Analiza testów A/B opartych na różnicy proporcji Exercise 11: Test A/B dla różnicy proporcji Exercise 12: Interpretacja przedziałów ufności Exercise 13: Przedziały ufności dla proporcji

W ostatnim rozdziale opracujesz metody analizy różnic w średnich i zastosowania testów nieparametrycznych w sytuacjach, gdy kilka założeń nie jest spełnionych. Dowiesz się również, jak stosować metodę delta przy analizie metryk opartych na ilorazach, oraz poznasz najlepsze praktyki i zaawansowane tematy, które pozwolą ci kontynuować naukę testowania A/B.

Exercise 1: Analiza testów A/B opartych na różnicy średnich Exercise 2: Test t dla różnicy średnich Exercise 3: Parzyste testy t Exercise 4: Nieparametryczne testy statystyczne Exercise 5: Parametryczny czy nieparametryczny?Exercise 6: Test U Manna-Whitneya Exercise 7: Test chi-kwadrat dla niezależności Exercise 8: Metryki ilorazowe i metoda delta Exercise 9: Delta czy nie?

Bieżące ćwiczenie

Exercise 10: Metoda delta Exercise 11: Najlepsze praktyki testowania A/B i wprowadzenie do zaawansowanych tematów Exercise 12: Dobre praktyki Exercise 13: Efekt dnia tygodnia Exercise 14: Podsumowanie: testy A/B w Pythonie