Analiza tiparelor de date lipsă

Primul pas în lucrul cu date incomplete este să înțelegi tiparele de lipsă, iar vizualizările sunt un instrument excelent în acest sens. Vei începe analiza setului de date africa folosind pachetul VIM pentru a crea două tipuri de vizualizări: graficul de agregare și graficul spine. Acestea îți vor arăta câte date lipsesc, în care variabile și configurații, și dacă putem spune ceva despre mecanismul datelor lipsă. Să începem cu câteva grafice!

Acest exercițiu face parte din cursul

Gestionarea datelor lipsă prin imputare în R

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Load VIM
___

# Draw a combined aggregation plot of africa
africa %>%
  ___(___ = ___, ___ = ___)

Editează și rulează codul

Acest exercițiu face parte din cursul

Gestionarea datelor lipsă prin imputare în R

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

În acest capitol, vei descoperi de ce datele lipsă pot reprezenta un risc atunci când analizezi un set de date. Vei fi introdus în cele trei mecanisme ale datelor lipsă și vei învăța cum să le recunoști folosind teste statistice și instrumente de vizualizare.

Exercise 1: Date lipsă: ce poate merge prost Exercise 2: Regresie liniară cu date incomplete Exercise 3: Analiza rezultatelor regresiei Exercise 4: Compararea modelelor Exercise 5: Mecanismele datelor lipsă Exercise 6: Recunoașterea mecanismelor datelor lipsă Exercise 7: Test t pentru MAR: pregătirea datelor Exercise 8: Testul t pentru MAR: interpretare Exercise 9: Vizualizarea tiparelor de date lipsă Exercise 10: Graficul de agregare Exercise 11: Spine plot Exercise 12: Grafic mozaic

Descoperă taxonomia metodelor de imputare și învață trei tehnici bazate pe donatori: imputarea prin medie, hot-deck și k-Nearest-Neighbors. Vei înțelege cum funcționează aceste metode în detaliu, înainte de a le aplica pe un set de date meteo tropical din lumea reală. Pe parcurs, vei învăța și trucuri utile care te vor ajuta să le optimizezi pentru propriile probleme.

Exercise 1: Imputarea prin medie Exercise 2: Detectând pericolul imputării prin medie Exercise 3: Imputarea prin medie a temperaturii Exercise 4: Evaluarea calității imputării cu ajutorul unui grafic de marjă Exercise 5: Imputarea hot-deck Exercise 6: Hot-deck simplu Exercise 7: Trucuri și sfaturi pentru hot-deck I: imputare în cadrul domeniilor Exercise 8: Trucuri și sfaturi pentru hot-deck II: sortare după variabile corelate Exercise 9: Imputarea k-Nearest-Neighbors Exercise 10: Alegerea numărului de vecini Exercise 11: Trucuri și sfaturi pentru kNN I: ponderarea donatorilor Exercise 12: Trucuri și sfaturi pentru kNN II: sortarea variabilelor

Este momentul să înveți cum să folosești modele statistice și de machine learning – precum regresia liniară, regresia logistică și pădurile aleatoare – pentru a imputa date lipsă. În acest capitol, vei analiza modul în care modelele fac predicții și vei folosi aceste cunoștințe pentru a extrage valorile imputate din distribuții condiționale. Acest lucru este important deoarece asigură că imputările tale sunt mai variate și mai plauzibile, apropiindu-le de datele reale.

Exercise 1: Abordarea imputării bazate pe modele Exercise 2: Imputare prin regresie liniară Exercise 3: Inițializarea valorilor lipsă și iterarea peste variabile Exercise 4: Detectarea convergenței Exercise 5: Replicarea variabilității datelor Exercise 6: Imputare prin regresie logistică Exercise 7: Extragere din distribuția condiționată Exercise 8: Imputare bazată pe model cu mai multe tipuri de variabile Exercise 9: Imputare bazată pe arbori de decizie Exercise 10: Imputare cu păduri aleatoare Exercise 11: Erori de imputare pe variabile Exercise 12: Compromisul dintre viteză și acuratețe

Valorile imputate nu sunt definitive. Ele sunt estimări, iar estimările implică un grad de incertitudine. În acest capitol final, vei descoperi cum bootstrapping-ul și ecuațiile înlănțuite din pachetul mice pot fi folosite pentru a incorpora incertitudinea imputării în modele și analize, făcându-le mai fiabile și mai robuste.

Exercise 1: Imputare multiplă prin bootstrapping Exercise 2: Împachetarea imputării și modelării într-o funcție Exercise 3: Rularea bootstrapping-ului Exercise 4: Intervale de încredere prin bootstrapping Exercise 5: Imputare multiplă prin ecuații înlănțuite Exercise 6: Fluxul mice: mice - with - pool Exercise 7: Alegerea modelelor implicite Exercise 8: Utilizarea matricei de predictori Exercise 9: Să reunim totul Exercise 10: Analiza tiparelor de date lipsă

Exercițiul curent

Exercise 11: Imputarea și inspecția rezultatelor Exercise 12: Inferență cu date imputate Exercise 13: Observații finale