Visualiser les valeurs manquantes

Tracer les valeurs manquantes est une excellente façon de voir rapidement quelle part de vos données manque. Cela peut aussi faire ressortir des motifs de valeurs manquantes selon certaines variables, ce qui devra être traité avec soin pour éviter de biaiser votre modèle.

Quelle variable compte le plus de valeurs manquantes? Exécutez toutes les lignes de code sauf la dernière pour trouver la réponse. Une fois certain de vous, saisissez la valeur et cliquez sur "Soumettre la réponse".

Cette activité fait partie du cours

Ingénierie des caractéristiques avec PySpark

Voir le cours

Instructions de l’exercice

Utilisez select() pour sous-échantillonner le dataframe df avec la liste de colonnes columns et échantillonnez avec la fonction sample() fournie, puis attribuez ce dataframe à la variable sample_df.
Convertissez le sous-ensemble en un dataframe pandas pandas_df, puis utilisez pandas isnull() pour convertir ce DataFrame en valeurs True/False. Stockez ce résultat dans tf_df.
Utilisez heatmap() de seaborn pour tracer tf_df.
Cliquez sur "Exécuter le code" pour afficher le graphique. Ensuite, assignez à answer le nom de la variable qui a le plus de valeurs manquantes.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Sample the dataframe and convert to Pandas
____ = df.select(____).sample(False, 0.1, 42)
____ = ____.toPandas()

# Convert all values to T/F
tf_df = ____.____()

# Plot it
sns.____(data=____)
plt.xticks(rotation=30, fontsize=10)
plt.yticks(rotation=0, fontsize=10)
plt.show()

# Set the answer to the column with the most missing data
answer = '____'

Modifier et exécuter le code