Analyse des profils de données manquantes

La première étape avec des données incomplètes consiste à comprendre les profils de valeurs manquantes, et les visualisations sont un excellent moyen d'y parvenir. Vous allez commencer l'analyse des données africa en utilisant le paquet VIM pour créer deux visualisations : le graphique d'agrégation et le graphique en épine (spine plot). Ils vous indiqueront combien de données sont manquantes, dans quelles variables et combinaisons, et s'il est possible d'inférer quelque chose sur le mécanisme des données manquantes. Allons-y avec quelques graphiques !

Cette activité fait partie du cours

Traitement des données manquantes par imputation dans R

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Load VIM
___

# Draw a combined aggregation plot of africa
africa %>%
  ___(___ = ___, ___ = ___)

Modifier et exécuter le code

Cette activité fait partie du cours

Traitement des données manquantes par imputation dans R

SkillTag.level.advancedSkillTag.label

4.8+

Commencer le cours gratuitement

Dans ce chapitre, vous verrez pourquoi les données manquantes peuvent poser un risque lors de l'analyse d'un jeu de données. Vous serez initié aux trois mécanismes de données manquantes et apprendrez à les reconnaître à l'aide de tests statistiques et d'outils de visualisation.

Exercise 1: Données manquantes : ce qui peut mal tourner Exercise 2: Régression linéaire avec des données incomplètes Exercise 3: Analyser la sortie d'une régression Exercise 4: Comparer des modèles Exercise 5: Mécanismes des données manquantes Exercise 6: Reconnaître les mécanismes de données manquantes Exercise 7: Test t pour MAR : préparation des données Exercise 8: Test t pour MAR : interprétation Exercise 9: Visualiser les profils de données manquantes Exercise 10: Diagramme d'agrégation Exercise 11: Diagramme en épine (spine plot)Exercise 12: Diagramme en mosaïque

Familiarisez-vous avec la taxonomie des méthodes d'imputation et apprenez trois techniques basées sur des donneurs : imputation par la moyenne, hot-deck et k plus proches voisins. Vous regarderez sous le capot pour comprendre le fonctionnement de ces méthodes, puis vous apprendrez à les appliquer à un jeu de données réel sur la météo tropicale. En cours de route, vous découvrirez aussi des astuces utiles pour les rendre encore plus efficaces dans vos propres problèmes.

Exercise 1: Imputation par la moyenne Exercise 2: Déceler les dangers de l'imputation par la moyenne Exercise 3: Imputer la température par la moyenne Exercise 4: Évaluer la qualité de l'imputation avec un diagramme en marge Exercise 5: Imputation par hot deck Exercise 6: Hot-deck de base Exercise 7: Astuces hot-deck I : imputer à l'intérieur de domaines Exercise 8: Astuces hot-deck II : trier selon des variables corrélées Exercise 9: Imputation par k plus proches voisins Exercise 10: Choisir le nombre de voisins Exercise 11: Astuces kNN I : pondérer les donneurs Exercise 12: Astuces kNN II : trier les variables

Il est temps d'apprendre à utiliser des modèles statistiques et de Machine Learning, comme la régression linéaire, la régression logistique et les forêts aléatoires, pour imputer des données manquantes. Dans ce chapitre, vous verrez comment ces modèles font leurs prédictions et utiliserez ces connaissances pour tirer les valeurs imputées de distributions conditionnelles. C'est important, car cela rend vos imputations plus variées et plausibles, donc plus proches des vraies données.

Exercise 1: Approche d'imputation fondée sur des modèles Exercise 2: Imputation par régression linéaire Exercise 3: Initialiser les valeurs manquantes et itérer sur les variables Exercise 4: Détecter la convergence Exercise 5: Reproduire la variabilité des données Exercise 6: Imputation par régression logistique Exercise 7: Tirage à partir d'une distribution conditionnelle Exercise 8: Imputation basée sur des modèles avec plusieurs types de variables Exercise 9: Imputation basée sur des arbres Exercise 10: Imputation avec des forêts aléatoires Exercise 11: Erreurs d'imputation par variable Exercise 12: Compromis vitesse-précision

Les valeurs imputées ne sont pas coulées dans le béton. Ce ne sont que des estimations, et toute estimation comporte une part d'incertitude. Dans ce dernier chapitre, vous découvrirez comment l'amorçage (bootstrapping) et les équations en chaîne avec le paquet mice peuvent servir à intégrer l'incertitude d'imputation dans vos modèles et vos analyses pour les rendre plus fiables et robustes.

Exercise 1: Imputation multiple par bootstrapping Exercise 2: Regrouper l'imputation et la modélisation dans une fonction Exercise 3: Exécuter le bootstrap Exercise 4: Bootstrapping des intervalles de confiance Exercise 5: Imputation multiple par équations en chaîne Exercise 6: Le déroulement avec mice : mice - with - pool Exercise 7: Choisir les modèles par défaut Exercise 8: Utiliser la matrice de prédicteurs Exercise 9: Mettre le tout ensemble Exercise 10: Analyse des profils de données manquantes

Exercice en cours

Exercise 11: Imputation et vérification des résultats Exercise 12: Inférence avec des données imputées Exercise 13: Remarques finales