Imputera saknade värden

Saknade värden förekommer i all verklig data. Om vi antar att data saknas helt slumpmässigt, innebär det att de värden vi faktiskt har är en god representation av populationen. Vid enstaka saknade värden kan vi antingen ta bort dem eller ersätta dem med medel- eller medianvärdet. I den här övningen undersöker vi kolumnen 'PDOM': antal dagar på marknaden till aktuellt pris.

Den här övningen är en del av kursen

Feature Engineering med PySpark

Visa kurs

Övningsinstruktioner

Räkna antalet saknade värden i kolumnen 'PDOM' med hjälp av where(), isNull() och count().
Beräkna medelvärdet för 'PDOM' med aggregatfunktionen mean().
Använd fillna() med värdet satt till medelvärdet för 'PDOM' och begränsa tillämpningen till just kolumnen 'PDOM' med parametern subset.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Count missing rows
missing = df.____(df[____].____()).____()

# Calculate the mean value
col_mean = df.____({____: ____}).____()[0][0]

# Replacing with the mean value for that column
df.____(____, ____=[____])

Redigera och kör kod