Imputarea datelor lipsă

Datele lipsă sunt o realitate cu care ne confruntăm frecvent. Dacă presupunem că datele lipsesc complet aleatoriu, înseamnă că datele disponibile reprezintă bine întreaga populație. Când avem doar câteva valori lipsă, le putem elimina sau le putem înlocui cu media ori mediana. În acest exercițiu, vom analiza coloana 'PDOM': numărul de zile pe piață la prețul curent.

Acest exercițiu face parte din cursul

Feature Engineering cu PySpark

Vezi cursul

Instrucțiuni pentru exercițiu

Calculează numărul valorilor lipsă din coloana 'PDOM' folosind where(), isNull() și count().
Calculează valoarea medie a coloanei 'PDOM' folosind funcția de agregare mean().
Folosește fillna() cu valoarea setată la media coloanei 'PDOM' și aplică-o doar pe coloana 'PDOM' prin intermediul parametrului subset.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Count missing rows
missing = df.____(df[____].____()).____()

# Calculate the mean value
col_mean = df.____({____: ____}).____()[0][0]

# Replacing with the mean value for that column
df.____(____, ____=[____])

Editează și rulează codul