Delta, nebo ne?

Při analýze poměrových metrik je analyzovaná jednotka v metrice zájmu někdy detailnější než jednotka randomizace. Například můžeme randomizovat podle user_id a zkoumat dopad změn na metriky na úrovni session nebo zobrazení stránky. To porušuje některé předpoklady týkající se výpočtu rozptylu, který používáme v testech statistické významnosti. Deltova metoda pomáhá tento nesoulad zohlednit.

Toto cvičení je součástí kurzu

A/B testování v Pythonu

Interaktivní praktické cvičení

Proměňte teorii v praxi s jedním z našich interaktivních cvičení

Začít cvičení

Toto cvičení je součástí kurzu

A/B testování v Pythonu

SkillTag.level.intermediateSkillTag.label

4.8+

Začněte kurz zdarma

V této kapitole se seznámíš se základy A/B testování. Prozkoumáš jasné postupy a případy použití, zjistíš, proč má smysl A/B testy navrhovat a spouštět, a objevíš nejpoužívanější přístupy k návrhu a odhadování metrik.

Exercise 1: Co je A/B testování?Exercise 2: Kdy A/B test není nejlepší volbou Exercise 3: Kroky A/B testování Exercise 4: Efekty randomizace Exercise 5: Proč provádět experimenty?Exercise 6: Vizualizace korelací Exercise 7: Korelace, nebo kauzalita?Exercise 8: Návrh metrik a jejich odhadování Exercise 9: Průměry a proporce Exercise 10: Metriky zobrazení reklam

Ve druhé kapitole se zaměříš na proces návrhu experimentu. Začneš formulováním silných hypotéz pro A/B testování a postupně se dostaneš ke statistickým pojmům, jako jsou síla testu, míry chyb a minimální detekovatelné efekty. Kapitolu zakončíš odhadováním potřebné velikosti vzorku pro průkazné výsledky a řešením scénářů s vícenásobným porovnáváním.

Exercise 1: Formulace hypotéz a rozdělení pravděpodobnosti Exercise 2: Formulace silné hypotézy Exercise 3: Vykreslení rozdělení Exercise 4: Centrální limitní věta pro průměry Exercise 5: Experimentální design: nastavení parametrů testování Exercise 6: Interpretace p-hodnot Exercise 7: Chybovost v praxi Exercise 8: Experimentální design: analýza síly testu Exercise 9: Vykreslování křivek výkonu Exercise 10: Velikost vzorku pro průměry Exercise 11: Velikost vzorku pro proporce Exercise 12: Testy vícenásobného porovnávání Exercise 13: Je potřeba korekce na mnohonásobné porovnávání?Exercise 14: Opravené p-hodnoty

Zde objevíš konkrétní postup pro čištění, předzpracování a průzkum dat z A/B testů a naučíš se nezbytné ověřovací kontroly, které zajistí platné výsledky. Podrobně si vysvětlíme a ukážeme analýzu A/B testů zaměřených na rozdíly v proporcích.

Exercise 1: Čištění dat a explorační analýza Exercise 2: Průzkumná analýza poměrů Exercise 3: Čištění dat pro A/B test Exercise 4: Sanity checks: interní validita Exercise 5: SRM Exercise 6: Rozložení distribucí Exercise 7: Sanity checks: externí validita Exercise 8: Detekce efektu novosti Exercise 9: Simpsonův paradox v praxi Exercise 10: Analýza A/B testů rozdílu v proporcích Exercise 11: A/B test rozdílu v proporcích Exercise 12: Interpretace intervalů spolehlivosti Exercise 13: Intervaly spolehlivosti pro proporce

V závěrečné kapitole si osvojíš postupy pro analýzu rozdílů v průměrech a naučíš se využívat neparametrické testy v situacích, kdy nejsou splněny určité předpoklady. Zjistíš také, jak aplikovat metodu delta při analýze poměrových metrik, a objevíš osvědčené postupy i pokročilá témata, která ti pomohou v cestě za mistrovstvím v A/B testování.

Exercise 1: Analýza A/B testů rozdílů průměrů Exercise 2: T-test pro rozdíl průměrů Exercise 3: Párové t-testy Exercise 4: Neparametrické statistické testy Exercise 5: Parametrický, nebo neparametrický?Exercise 6: Mann-Whitneyův U test Exercise 7: Chí-kvadrát test nezávislosti Exercise 8: Poměrové metriky a delta metoda Exercise 9: Delta, nebo ne?

Aktuální cvičení

Exercise 10: Delta metoda Exercise 11: Úvod do osvědčených postupů a pokročilých témat A/B testování Exercise 12: Osvědčené postupy Exercise 13: Efekt dne v týdnu Exercise 14: Shrnutí: A/B testování v Pythonu