Odstraňování sloupců a řádků
V předchozím kroku jsi načetl/a letová data z CSV souboru. Teď z nich sestavíš model, který bude předpovídat, zda daný let bude zpožděn, nebo ne.
V tomto cvičení data zredukuješ takto:
- odstraníš neinformativní sloupec a
- odstraníš řádky, u nichž chybí informace o tom, zda let byl zpožděn.
Data jsou dostupná jako flights.
Poznámka: Může se ti hodit podívat se zpět na snímky z lekcí v panelu Slides vedle IPython Shell.
Toto cvičení je součástí kurzu
Machine Learning with PySpark
Pokyny k cvičení
- Odstraň sloupec
flight. - Zjisti, kolik záznamů má chybějící hodnoty ve sloupci
delay. - Odstraň záznamy s chybějícími hodnotami ve sloupci
delay. - Odstraň záznamy s chybějícími hodnotami v libovolném sloupci a zjisti počet zbývajících řádků.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Remove the 'flight' column
flights_drop_column = flights.____(____)
# Number of records with missing 'delay' values
flights_drop_column.____('delay IS NULL').____()
# Remove records with missing 'delay' values
flights_valid_delay = flights_drop_column.____(____)
# Remove records with missing values in any column and get the number of remaining rows
flights_none_missing = flights_valid_delay.____()
print(flights_none_missing.____())