Metryki wyświetleń reklam

Firma reklamowa opracowała nową reklamę, aby zwiększyć zaangażowanie użytkowników w wypełnianie ankiety. Nowa reklama była wyświetlana wybranej grupie użytkowników w grupie exposed, natomiast grupie control pokazywano reklamę zastępczą. Wciel się w rolę analityka danych odpowiedzialnego za interpretację wyników testu. Pierwszym krokiem jest zdefiniowanie i oszacowanie przydatnych metryk, które pozwolą ocenić skuteczność tej inicjatywy marketingowej.

Wykorzystaj wiedzę zdobytą w lekcji wideo, aby zaprojektować metryki sukcesu i przeanalizować różnice między dwoma typami eksperymentów w kolumnie experiment. Zbiór danych AdSmart z Kaggle jest już wczytany.

To ćwiczenie jest częścią kursu

Testy A/B w Pythonie

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Filter on users who responded 
AdSmart_Responded = AdSmart[(AdSmart['____'] == ____) ____ (AdSmart['____'] == ____)]

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Testy A/B w Pythonie

SkillTag.level.intermediateSkillTag.label

4.8+

Rozpocznij kurs za darmo

W tym rozdziale poznasz podstawy testów A/B. Przeanalizujesz konkretne kroki i przypadki użycia, dowiesz się, dlaczego warto projektować i przeprowadzać testy A/B, oraz zapoznasz się z najczęściej stosowanymi metodami projektowania i szacowania metryk.

Exercise 1: Czym jest testowanie A/B?Exercise 2: Kiedy test A/B nie jest najlepszym rozwiązaniem Exercise 3: Kroki testu A/B Exercise 4: Efekty randomizacji Exercise 5: Po co przeprowadzać eksperymenty?Exercise 6: Wizualizacja korelacji Exercise 7: Korelacja czy przyczynowość?Exercise 8: Projektowanie metryk i estymacja Exercise 9: Średnie i proporcje Exercise 10: Metryki wyświetleń reklam

Bieżące ćwiczenie

W rozdziale 2. omówisz proces projektowania eksperymentu. Zaczniesz od formułowania mocnych hipotez na potrzeby testów A/B, a następnie przejdziesz do pojęć statystycznych, takich jak moc testu, poziomy błędów i minimalne wykrywalne efekty. Na koniec nauczysz się szacować odpowiednią wielkość próby potrzebną do uzyskania jednoznacznych wyników i poradzisz sobie ze scenariuszami obejmującymi wielokrotne porównania.

Exercise 1: Formułowanie hipotez i rozkłady Exercise 2: Formułowanie mocnej hipotezy Exercise 3: Wizualizacja rozkładów Exercise 4: Centralne twierdzenie graniczne dla średnich Exercise 5: Projekt eksperymentu: ustalanie parametrów testowania Exercise 6: Interpretacja wartości p Exercise 7: Wskaźniki błędów w praktyce Exercise 8: Projektowanie eksperymentu: analiza mocy Exercise 9: Rysowanie krzywych mocy Exercise 10: Wielkość próby dla wartości średnich Exercise 11: Wielkość próby dla proporcji Exercise 12: Testy wielokrotnych porównań Exercise 13: Czy potrzebna jest korekta dla wielokrotnych porównań?Exercise 14: Skorygowane wartości p

Tutaj poznasz konkretny tok pracy przy czyszczeniu, przetwarzaniu wstępnym i eksploracji danych z testów A/B, a także niezbędne kontrole poprawności, które trzeba wykonać, aby zagwarantować wiarygodność wyników. Szczegółowo omówisz i przeanalizujesz przykład testu A/B badającego różnice w proporcjach.

Exercise 1: Czyszczenie danych i analiza eksploracyjna Exercise 2: EDA proporcji Exercise 3: Czyszczenie danych testu A/B Exercise 4: Kontrole poprawności: trafność wewnętrzna Exercise 5: SRM Exercise 6: Równowaga rozkładów Exercise 7: Kontrole poprawności: trafność zewnętrzna Exercise 8: Wykrywanie efektów nowości Exercise 9: Paradoks Simpsona w praktyce Exercise 10: Analiza testów A/B opartych na różnicy proporcji Exercise 11: Test A/B dla różnicy proporcji Exercise 12: Interpretacja przedziałów ufności Exercise 13: Przedziały ufności dla proporcji

W ostatnim rozdziale opracujesz metody analizy różnic w średnich i zastosowania testów nieparametrycznych w sytuacjach, gdy kilka założeń nie jest spełnionych. Dowiesz się również, jak stosować metodę delta przy analizie metryk opartych na ilorazach, oraz poznasz najlepsze praktyki i zaawansowane tematy, które pozwolą ci kontynuować naukę testowania A/B.

Exercise 1: Analiza testów A/B opartych na różnicy średnich Exercise 2: Test t dla różnicy średnich Exercise 3: Parzyste testy t Exercise 4: Nieparametryczne testy statystyczne Exercise 5: Parametryczny czy nieparametryczny?Exercise 6: Test U Manna-Whitneya Exercise 7: Test chi-kwadrat dla niezależności Exercise 8: Metryki ilorazowe i metoda delta Exercise 9: Delta czy nie?Exercise 10: Metoda delta Exercise 11: Najlepsze praktyki testowania A/B i wprowadzenie do zaawansowanych tematów Exercise 12: Dobre praktyki Exercise 13: Efekt dnia tygodnia Exercise 14: Podsumowanie: testy A/B w Pythonie