Rozpoznávání mechanismů chybějících dat

V tomto cvičení se setkáš se šesti různými scénáři, ve kterých některá data chybí. Zkus každý z nich přiřadit k nejpravděpodobnějšímu mechanismu chybějících dat. Pro připomenutí uvádíme obecná pravidla:

Pokud je důvod pro chybění čistě náhodný, jde o MCAR.
Pokud lze důvod pro chybění vysvětlit jinou proměnnou, jde o MAR.
Pokud důvod pro chybění závisí na samotné chybějící hodnotě, jde o MNAR.

Toto cvičení je součástí kurzu

Práce s chybějícími daty pomocí imputace v R

Interaktivní praktické cvičení

Proměňte teorii v praxi s jedním z našich interaktivních cvičení

Začít cvičení

Toto cvičení je součástí kurzu

Práce s chybějícími daty pomocí imputace v R

SkillTag.level.advancedSkillTag.label

4.8+

Začněte kurz zdarma

V této kapitole zjistíš, proč mohou chybějící data představovat riziko při analýze datové sady. Seznámíš se se třemi mechanismy chybějících dat a naučíš se je rozpoznávat pomocí statistických testů a nástrojů pro vizualizaci.

Exercise 1: Chybějící data: co se může pokazit Exercise 2: Lineární regrese s neúplnými daty Exercise 3: Analýza výstupu regrese Exercise 4: Porovnávání modelů Exercise 5: Mechanismy chybějících dat Exercise 6: Rozpoznávání mechanismů chybějících dat

Aktuální cvičení

Exercise 7: t-test pro MAR: příprava dat Exercise 8: t-test pro MAR: interpretace Exercise 9: Vizualizace vzorců chybějících dat Exercise 10: Agregační graf Exercise 11: Spine plot Exercise 12: Mozaikový graf

Poznáš taxonomii metod imputace a naučíš se tři techniky založené na dárcích: imputaci průměrem, hot-deck imputaci a imputaci metodou k nejbližších sousedů. Podíváš se pod pokličku a uvidíš, jak tyto metody fungují, a pak je použiješ na reálný dataset tropického počasí. Cestou tě čekají i užitečné triky, díky nimž tyto metody ještě lépe zvládneš přizpůsobit svým problémům.

Exercise 1: Imputace průměrem Exercise 2: Rizika průměrové imputace Exercise 3: Imputace průměrem pro teplotu Exercise 4: Hodnocení kvality imputace pomocí margin plotu Exercise 5: Imputace metodou hot-deck Exercise 6: Hot-deck imputace v základní podobě Exercise 7: Tipy a triky pro hot-deck I: imputace v rámci domén Exercise 8: Triky a tipy pro hot-deck imputaci II: řazení podle korelovaných proměnných Exercise 9: Imputace metodou k nejbližších sousedů Exercise 10: Volba počtu sousedů Exercise 11: Tipy a triky pro kNN I: vážení donorů Exercise 12: Tipy a triky pro kNN II: řazení proměnných

Nastala chvíle naučit se využívat statistické modely a modely strojového učení – například lineární regresi, logistickou regresi a náhodné lesy – k imputaci chybějících dat. V této kapitole se podíváš na to, jak modely vytvářejí své předpovědi, a využiješ toto poznání k čerpání imputovaných hodnot z podmíněných rozdělení. To je důležité, protože zajistí větší variabilitu a věrohodnost tvých imputací, a tedy jejich větší podobnost se skutečnými daty.

Exercise 1: Přístup k imputaci pomocí modelů Exercise 2: Imputace lineární regresí Exercise 3: Inicializace chybějících hodnot a iterace přes proměnné Exercise 4: Detekce konvergence Exercise 5: Replikace variability dat Exercise 6: Imputace logistickou regresí Exercise 7: Výběr z podmíněného rozdělení Exercise 8: Imputace pomocí modelu s více typy proměnných Exercise 9: Imputace pomocí stromových modelů Exercise 10: Imputace pomocí náhodných lesů Exercise 11: Chyby imputace pro jednotlivé proměnné Exercise 12: Kompromis mezi rychlostí a přesností

Imputované hodnoty nejsou vytesány do kamene. Jsou to jen odhady a každý odhad s sebou nese určitou míru nejistoty. V této závěrečné kapitole objevíš, jak lze bootstrapping a řetězené rovnice pomocí balíčku mice použít k zahrnutí nejistoty imputace do tvých modelů a analýz, aby byly spolehlivější a robustnější.

Exercise 1: Vícenásobná imputace pomocí bootstrappingu Exercise 2: Zabalení imputace a modelování do funkce Exercise 3: Spuštění bootstrappingu Exercise 4: Bootstrapping intervalů spolehlivosti Exercise 5: Mnohonásobná imputace pomocí zřetězených rovnic Exercise 6: Postup v mice: mice - with - pool Exercise 7: Výběr výchozích modelů Exercise 8: Použití matice prediktorů Exercise 9: Dáme to dohromady Exercise 10: Analýza vzorců chybějících dat Exercise 11: Imputace a kontrola výsledků Exercise 12: Inference s imputovanými daty Exercise 13: Závěrečné poznámky