Usuwanie kolumn i wierszy
Wcześniej wczytano dane o lotach z pliku CSV. Teraz zbudujesz model, który będzie przewidywał, czy dany lot zostanie opóźniony.
W tym ćwiczeniu musisz ograniczyć zbiór danych poprzez:
- usunięcie nieinformatywnej kolumny oraz
- usunięcie wierszy, w których brakuje informacji o tym, czy lot był opóźniony.
Dane są dostępne jako flights.
Uwaga: Warto przejrzeć slajdy z lekcji w panelu Slajdy obok powłoki IPython.
To ćwiczenie jest częścią kursu
Uczenie maszynowe z PySpark
Instrukcje do ćwiczenia
- Usuń kolumnę
flight. - Sprawdź, ile rekordów ma brakujące wartości w kolumnie
delay. - Usuń rekordy z brakującymi wartościami w kolumnie
delay. - Usuń rekordy z brakującymi wartościami w dowolnej kolumnie i podaj liczbę pozostałych wierszy.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Remove the 'flight' column
flights_drop_column = flights.____(____)
# Number of records with missing 'delay' values
flights_drop_column.____('delay IS NULL').____()
# Remove records with missing 'delay' values
flights_valid_delay = flights_drop_column.____(____)
# Remove records with missing values in any column and get the number of remaining rows
flights_none_missing = flights_valid_delay.____()
print(flights_none_missing.____())