Kolommen en rijen verwijderen
Je hebt eerder gegevens over vliegmaatschappijen uit een CSV-bestand geladen. Je gaat een model bouwen dat voorspelt of een vlucht vertraagd zal zijn of niet.
In deze oefening ga je de gegevens opschonen door:
- een niet-informatieve kolom te verwijderen en
- rijen te verwijderen waarvoor niet bekend is of een vlucht vertraagd was of niet.
De gegevens staan in flights.
Opmerking: Het kan handig zijn om de dia's uit de lessen in het paneel Dia's naast de IPython Shell nog eens door te nemen.
Deze oefening maakt deel uit van de cursus
Machine Learning met PySpark
Oefeninstructies
- Verwijder de kolom
flight. - Zoek uit hoeveel records ontbrekende waarden hebben in de kolom
delay. - Verwijder records met ontbrekende waarden in de kolom
delay. - Verwijder records met ontbrekende waarden in welke kolom dan ook en geef het aantal overgebleven rijen.
Interactieve oefening met praktijkervaring
Probeer deze oefening door deze voorbeeldcode aan te vullen.
# Remove the 'flight' column
flights_drop_column = flights.____(____)
# Number of records with missing 'delay' values
flights_drop_column.____('delay IS NULL').____()
# Remove records with missing 'delay' values
flights_valid_delay = flights_drop_column.____(____)
# Remove records with missing values in any column and get the number of remaining rows
flights_none_missing = flights_valid_delay.____()
print(flights_none_missing.____())