Visualizar valores ausentes

Poder representar los valores ausentes es una forma estupenda de ver rápidamente cuánto de tu conjunto de datos falta. También puede ayudarte a detectar patrones de ausencia en algunas variables, algo que tendrás que tratar con cuidado para evitar sesgos en tu modelo.

¿Qué variable tiene más valores ausentes? Ejecuta todas las líneas de código excepto la última para averiguarlo. Cuando lo tengas claro, completa el valor y pulsa "Enviar respuesta".

Este ejercicio forma parte del curso

Ingeniería de características con PySpark

Ver curso

Instrucciones del ejercicio

Usa select() para crear un subconjunto del dataframe df con la lista de columnas columns y extrae una muestra con la función sample() proporcionada; asigna este dataframe a la variable sample_df.
Convierte el dataframe subconjunto a un dataframe de pandas pandas_df, y usa isnull() de pandas para convertir ese DataFrame en valores True/False. Guarda el resultado en tf_df.
Usa heatmap() de seaborn para representar tf_df.
Pulsa "Ejecutar código" para ver la gráfica. Luego asigna a answer el nombre de la variable con más valores ausentes.

ejercicio interactivo práctico

Prueba este ejercicio completando este código de ejemplo.

# Sample the dataframe and convert to Pandas
____ = df.select(____).sample(False, 0.1, 42)
____ = ____.toPandas()

# Convert all values to T/F
tf_df = ____.____()

# Plot it
sns.____(data=____)
plt.xticks(rotation=30, fontsize=10)
plt.yticks(rotation=0, fontsize=10)
plt.show()

# Set the answer to the column with the most missing data
answer = '____'

Editar y ejecutar código