Regresie liniară cu date incomplete

Datele lipsă sunt o problemă frecventă, iar tratarea lor corespunzătoare este extrem de importantă. Ignorarea valorilor lipsă sau completarea lor incorectă poate face ca modelele să se comporte în moduri neașteptate și poate introduce bias în predicții și inferențe.

În acest capitol, vei lucra cu setul de date biopics. Acesta conține informații despre o serie de filme biografice, inclusiv încasările lor, caracteristicile personajelor principale și alte variabile. Unele valori lipsesc, însă. Datele originale provin din pachetul R fivethirtyeight, dar în cadrul acestui curs vei folosi o versiune ușor preprocesată.

În acest exercițiu, vei face cunoștință cu setul de date și vei construi un model de regresie liniară pentru a explica încasările unui film. Să începem!

Acest exercițiu face parte din cursul

Gestionarea datelor lipsă prin imputare în R

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Print first 10 observations
___(biopics, ___)

Editează și rulează codul

Acest exercițiu face parte din cursul

Gestionarea datelor lipsă prin imputare în R

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

În acest capitol, vei descoperi de ce datele lipsă pot reprezenta un risc atunci când analizezi un set de date. Vei fi introdus în cele trei mecanisme ale datelor lipsă și vei învăța cum să le recunoști folosind teste statistice și instrumente de vizualizare.

Exercise 1: Date lipsă: ce poate merge prost Exercise 2: Regresie liniară cu date incomplete

Exercițiul curent

Exercise 3: Analiza rezultatelor regresiei Exercise 4: Compararea modelelor Exercise 5: Mecanismele datelor lipsă Exercise 6: Recunoașterea mecanismelor datelor lipsă Exercise 7: Test t pentru MAR: pregătirea datelor Exercise 8: Testul t pentru MAR: interpretare Exercise 9: Vizualizarea tiparelor de date lipsă Exercise 10: Graficul de agregare Exercise 11: Spine plot Exercise 12: Grafic mozaic

Descoperă taxonomia metodelor de imputare și învață trei tehnici bazate pe donatori: imputarea prin medie, hot-deck și k-Nearest-Neighbors. Vei înțelege cum funcționează aceste metode în detaliu, înainte de a le aplica pe un set de date meteo tropical din lumea reală. Pe parcurs, vei învăța și trucuri utile care te vor ajuta să le optimizezi pentru propriile probleme.

Exercise 1: Imputarea prin medie Exercise 2: Detectând pericolul imputării prin medie Exercise 3: Imputarea prin medie a temperaturii Exercise 4: Evaluarea calității imputării cu ajutorul unui grafic de marjă Exercise 5: Imputarea hot-deck Exercise 6: Hot-deck simplu Exercise 7: Trucuri și sfaturi pentru hot-deck I: imputare în cadrul domeniilor Exercise 8: Trucuri și sfaturi pentru hot-deck II: sortare după variabile corelate Exercise 9: Imputarea k-Nearest-Neighbors Exercise 10: Alegerea numărului de vecini Exercise 11: Trucuri și sfaturi pentru kNN I: ponderarea donatorilor Exercise 12: Trucuri și sfaturi pentru kNN II: sortarea variabilelor

Este momentul să înveți cum să folosești modele statistice și de machine learning – precum regresia liniară, regresia logistică și pădurile aleatoare – pentru a imputa date lipsă. În acest capitol, vei analiza modul în care modelele fac predicții și vei folosi aceste cunoștințe pentru a extrage valorile imputate din distribuții condiționale. Acest lucru este important deoarece asigură că imputările tale sunt mai variate și mai plauzibile, apropiindu-le de datele reale.

Exercise 1: Abordarea imputării bazate pe modele Exercise 2: Imputare prin regresie liniară Exercise 3: Inițializarea valorilor lipsă și iterarea peste variabile Exercise 4: Detectarea convergenței Exercise 5: Replicarea variabilității datelor Exercise 6: Imputare prin regresie logistică Exercise 7: Extragere din distribuția condiționată Exercise 8: Imputare bazată pe model cu mai multe tipuri de variabile Exercise 9: Imputare bazată pe arbori de decizie Exercise 10: Imputare cu păduri aleatoare Exercise 11: Erori de imputare pe variabile Exercise 12: Compromisul dintre viteză și acuratețe

Valorile imputate nu sunt definitive. Ele sunt estimări, iar estimările implică un grad de incertitudine. În acest capitol final, vei descoperi cum bootstrapping-ul și ecuațiile înlănțuite din pachetul mice pot fi folosite pentru a incorpora incertitudinea imputării în modele și analize, făcându-le mai fiabile și mai robuste.

Exercise 1: Imputare multiplă prin bootstrapping Exercise 2: Împachetarea imputării și modelării într-o funcție Exercise 3: Rularea bootstrapping-ului Exercise 4: Intervale de încredere prin bootstrapping Exercise 5: Imputare multiplă prin ecuații înlănțuite Exercise 6: Fluxul mice: mice - with - pool Exercise 7: Alegerea modelelor implicite Exercise 8: Utilizarea matricei de predictori Exercise 9: Să reunim totul Exercise 10: Analiza tiparelor de date lipsă Exercise 11: Imputarea și inspecția rezultatelor Exercise 12: Inferență cu date imputate Exercise 13: Observații finale