Spalten und Zeilen entfernen

Du hast zuvor Flugdaten von Airlines aus einer CSV-Datei geladen. Du wirst ein Modell entwickeln, das vorhersagt, ob ein bestimmter Flug verspätet sein wird oder nicht.

In dieser Übung sollst du die Daten bereinigen, indem du:

eine wenig informative Spalte entfernst und
Zeilen entfernst, die keine Information darüber enthalten, ob ein Flug verspätet war oder nicht.

Die Daten stehen als flights zur Verfügung.

Hinweis: Es kann hilfreich sein, die Folien aus den Lektionen im Bereich Folien neben der IPython Shell noch einmal anzuschauen.

Diese Übung ist Teil des Kurses

<Kurs>Maschinelles Lernen mit PySpark</Kurs>

Kurs ansehen

Übungsanweisungen

Entferne die Spalte flight.
Finde heraus, wie viele Einträge fehlende Werte in der Spalte delay haben.
Entferne Einträge mit fehlenden Werten in der Spalte delay.
Entferne Einträge mit fehlenden Werten in irgendeiner Spalte und gib die Anzahl der verbleibenden Zeilen aus.

Interaktive praktische Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

# Remove the 'flight' column
flights_drop_column = flights.____(____)

# Number of records with missing 'delay' values
flights_drop_column.____('delay IS NULL').____()

# Remove records with missing 'delay' values
flights_valid_delay = flights_drop_column.____(____)

# Remove records with missing values in any column and get the number of remaining rows
flights_none_missing = flights_valid_delay.____()
print(flights_none_missing.____())

Code bearbeiten und ausführen