Imputazione dei valori mancanti

I valori mancanti capitano. Se assumiamo che i nostri dati siano mancanti completamente a caso, stiamo assumendo che i dati a disposizione rappresentino bene la popolazione. Se ne abbiamo pochi, possiamo rimuoverli oppure usare media o mediana come sostituzione. In questo esercizio, guarderemo a 'PDOM': giorni sul mercato al prezzo corrente.

Questo esercizio fa parte del corso

Feature Engineering con PySpark

Visualizza corso

Istruzioni dell'esercizio

Ottieni il conteggio dei valori mancanti nella colonna 'PDOM' usando where(), isNull() e count().
Calcola il valore medio di 'PDOM' usando la funzione di aggregazione mean().
Usa fillna() con il valore impostato alla media di 'PDOM' e applicalo solo alla colonna 'PDOM' usando il parametro subset.

esercizio interattivo pratico

Prova questo esercizio completando questo codice di esempio.

# Count missing rows
missing = df.____(df[____].____()).____()

# Calculate the mean value
col_mean = df.____({____: ____}).____()[0][0]

# Replacing with the mean value for that column
df.____(____, ____=[____])

Modifica ed esegui il codice