Uzupełnianie brakujących danych

Brakujące dane to rzeczywistość każdego analityka. Jeśli przyjmiemy założenie, że dane są brakujące całkowicie losowo, uznajemy tym samym, że posiadane przez nas dane dobrze reprezentują całą populację. Gdy brakuje tylko kilku wartości, możemy je usunąć albo zastąpić średnią lub medianą. W tym ćwiczeniu przyjrzymy się kolumnie 'PDOM': liczba dni na rynku po bieżącej cenie.

To ćwiczenie jest częścią kursu

Inżynieria cech z PySpark

Zobacz kurs

Instrukcje do ćwiczenia

Policz brakujące wartości w kolumnie 'PDOM', używając funkcji where(), isNull() i count().
Oblicz średnią wartość kolumny 'PDOM' za pomocą funkcji agregującej mean().
Użyj funkcji fillna(), ustawiając wartość zastępczą na obliczoną średnią z kolumny 'PDOM' i ogranicz jej działanie wyłącznie do tej kolumny za pomocą parametru subset.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Count missing rows
missing = df.____(df[____].____()).____()

# Calculate the mean value
col_mean = df.____({____: ____}).____()[0][0]

# Replacing with the mean value for that column
df.____(____, ____=[____])

Edytuj i uruchom kod