Imputación de valores faltantes

Los datos faltantes existen. Si suponemos que los datos faltan completamente al azar, estamos asumiendo que los datos disponibles representan bien a la población. Si solo faltan algunos valores, podemos eliminarlos o usar la media o la mediana como reemplazo. En este ejercicio, veremos 'PDOM': días en el mercado al precio actual.

Este ejercicio forma parte del curso

Ingeniería de características con PySpark

Ver curso

Instrucciones del ejercicio

Obtén un recuento de los valores faltantes en la columna 'PDOM' usando where(), isNull() y count().
Calcula el valor medio de 'PDOM' usando la función de agregación mean().
Usa fillna() con el valor establecido a la media de 'PDOM' y aplícalo solo a la columna 'PDOM' usando el parámetro subset.

ejercicio interactivo práctico

Prueba este ejercicio completando este código de ejemplo.

# Count missing rows
missing = df.____(df[____].____()).____()

# Calculate the mean value
col_mean = df.____({____: ____}).____()[0][0]

# Replacing with the mean value for that column
df.____(____, ____=[____])

Editar y ejecutar código