Detectând pericolul imputării prin medie

Una dintre cele mai populare metode de imputare este imputarea prin medie, în care valorile lipsă dintr-o variabilă sunt înlocuite cu media valorilor observate în acea variabilă. Totuși, în multe cazuri, această abordare simplă nu este cea mai bună alegere. Uneori, o privire rapidă asupra datelor poate să te alerteze cu privire la riscurile imputării prin medie.

În acest capitol, vei lucra cu un subeșantion din datele proiectului Tropical Atmosphere Ocean (tao). Setul de date conține măsurători atmosferice colectate în două perioade de timp diferite, în cinci locații distincte. Datele provin din pachetul VIM.

În acest exercițiu te vei familiariza cu datele și vei realiza o analiză simplă care va indica ce consecințe ar putea avea imputarea prin medie. Să aruncăm o privire asupra datelor tao!

Acest exercițiu face parte din cursul

Gestionarea datelor lipsă prin imputare în R

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Print first 10 observations
___(tao, ___)

Editează și rulează codul

Acest exercițiu face parte din cursul

Gestionarea datelor lipsă prin imputare în R

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

În acest capitol, vei descoperi de ce datele lipsă pot reprezenta un risc atunci când analizezi un set de date. Vei fi introdus în cele trei mecanisme ale datelor lipsă și vei învăța cum să le recunoști folosind teste statistice și instrumente de vizualizare.

Exercise 1: Date lipsă: ce poate merge prost Exercise 2: Regresie liniară cu date incomplete Exercise 3: Analiza rezultatelor regresiei Exercise 4: Compararea modelelor Exercise 5: Mecanismele datelor lipsă Exercise 6: Recunoașterea mecanismelor datelor lipsă Exercise 7: Test t pentru MAR: pregătirea datelor Exercise 8: Testul t pentru MAR: interpretare Exercise 9: Vizualizarea tiparelor de date lipsă Exercise 10: Graficul de agregare Exercise 11: Spine plot Exercise 12: Grafic mozaic

Descoperă taxonomia metodelor de imputare și învață trei tehnici bazate pe donatori: imputarea prin medie, hot-deck și k-Nearest-Neighbors. Vei înțelege cum funcționează aceste metode în detaliu, înainte de a le aplica pe un set de date meteo tropical din lumea reală. Pe parcurs, vei învăța și trucuri utile care te vor ajuta să le optimizezi pentru propriile probleme.

Exercise 1: Imputarea prin medie Exercise 2: Detectând pericolul imputării prin medie

Exercițiul curent

Exercise 3: Imputarea prin medie a temperaturii Exercise 4: Evaluarea calității imputării cu ajutorul unui grafic de marjă Exercise 5: Imputarea hot-deck Exercise 6: Hot-deck simplu Exercise 7: Trucuri și sfaturi pentru hot-deck I: imputare în cadrul domeniilor Exercise 8: Trucuri și sfaturi pentru hot-deck II: sortare după variabile corelate Exercise 9: Imputarea k-Nearest-Neighbors Exercise 10: Alegerea numărului de vecini Exercise 11: Trucuri și sfaturi pentru kNN I: ponderarea donatorilor Exercise 12: Trucuri și sfaturi pentru kNN II: sortarea variabilelor

Este momentul să înveți cum să folosești modele statistice și de machine learning – precum regresia liniară, regresia logistică și pădurile aleatoare – pentru a imputa date lipsă. În acest capitol, vei analiza modul în care modelele fac predicții și vei folosi aceste cunoștințe pentru a extrage valorile imputate din distribuții condiționale. Acest lucru este important deoarece asigură că imputările tale sunt mai variate și mai plauzibile, apropiindu-le de datele reale.

Exercise 1: Abordarea imputării bazate pe modele Exercise 2: Imputare prin regresie liniară Exercise 3: Inițializarea valorilor lipsă și iterarea peste variabile Exercise 4: Detectarea convergenței Exercise 5: Replicarea variabilității datelor Exercise 6: Imputare prin regresie logistică Exercise 7: Extragere din distribuția condiționată Exercise 8: Imputare bazată pe model cu mai multe tipuri de variabile Exercise 9: Imputare bazată pe arbori de decizie Exercise 10: Imputare cu păduri aleatoare Exercise 11: Erori de imputare pe variabile Exercise 12: Compromisul dintre viteză și acuratețe

Valorile imputate nu sunt definitive. Ele sunt estimări, iar estimările implică un grad de incertitudine. În acest capitol final, vei descoperi cum bootstrapping-ul și ecuațiile înlănțuite din pachetul mice pot fi folosite pentru a incorpora incertitudinea imputării în modele și analize, făcându-le mai fiabile și mai robuste.

Exercise 1: Imputare multiplă prin bootstrapping Exercise 2: Împachetarea imputării și modelării într-o funcție Exercise 3: Rularea bootstrapping-ului Exercise 4: Intervale de încredere prin bootstrapping Exercise 5: Imputare multiplă prin ecuații înlănțuite Exercise 6: Fluxul mice: mice - with - pool Exercise 7: Alegerea modelelor implicite Exercise 8: Utilizarea matricei de predictori Exercise 9: Să reunim totul Exercise 10: Analiza tiparelor de date lipsă Exercise 11: Imputarea și inspecția rezultatelor Exercise 12: Inferență cu date imputate Exercise 13: Observații finale