Fehlende Daten visualisieren

Fehlende Werte zu visualisieren ist eine hervorragende Methode, um schnell zu verstehen, wie viel deiner Daten fehlt. So lassen sich auch Muster erkennen, in denen Variablen systematisch fehlen — das musst du sorgfältig behandeln, damit dein Modell nicht verzerrt wird.

Welche Variable hat die meisten fehlenden Werte? Führe alle Codezeilen bis auf die letzte aus, um die Antwort zu finden. Wenn du dir sicher bist, trage den Wert ein und klicke auf "Antwort senden".

Diese Übung ist Teil des Kurses

<Kurs>Feature Engineering mit PySpark</Kurs>

Kurs ansehen

Übungsanweisungen

Verwende select(), um das DataFrame df mit der Spaltenliste columns zu subsetten, und ziehe mit der bereitgestellten Funktion sample() eine Stichprobe. Weise dieses DataFrame der Variablen sample_df zu.
Wandle das Teil-DataFrame in ein pandas-DataFrame pandas_df um und nutze in pandas isnull(), um dieses DataFrame in True/False umzuwandeln. Speichere das Ergebnis in tf_df.
Verwende heatmap() aus seaborn, um tf_df zu plotten.
Klicke auf "Code ausführen", um die Grafik anzuzeigen. Weise anschließend den Namen der Variablen mit den meisten fehlenden Werten answer zu.

Interaktive praktische Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

# Sample the dataframe and convert to Pandas
____ = df.select(____).sample(False, 0.1, 42)
____ = ____.toPandas()

# Convert all values to T/F
tf_df = ____.____()

# Plot it
sns.____(data=____)
plt.xticks(rotation=30, fontsize=10)
plt.yticks(rotation=0, fontsize=10)
plt.show()

# Set the answer to the column with the most missing data
answer = '____'

Code bearbeiten und ausführen