Ta bort kolumner och rader
Du har tidigare läst in flygdata från en CSV-fil. Nu ska du bygga en modell som förutsäger om ett givet flyg blir försenat eller inte.
I den här övningen behöver du rensa datamängden genom att:
- ta bort en kolumn som inte tillför något och
- ta bort rader som saknar information om ett flyg är försenat eller inte.
Data finns tillgängliga som flights.
Obs! Det kan vara bra att titta på slides från lektionerna i panelen Slides bredvid IPython Shell.
Den här övningen är en del av kursen
Maskininlärning med PySpark
Övningsinstruktioner
- Ta bort kolumnen
flight. - Ta reda på hur många poster som saknar värden i kolumnen
delay. - Ta bort poster som saknar värden i kolumnen
delay. - Ta bort poster som saknar värden i någon kolumn och räkna antalet återstående rader.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Remove the 'flight' column
flights_drop_column = flights.____(____)
# Number of records with missing 'delay' values
flights_drop_column.____('delay IS NULL').____()
# Remove records with missing 'delay' values
flights_valid_delay = flights_drop_column.____(____)
# Remove records with missing values in any column and get the number of remaining rows
flights_none_missing = flights_valid_delay.____()
print(flights_none_missing.____())