Eliminarea coloanelor și rândurilor
Anterior ai încărcat date despre zboruri dintr-un fișier CSV. Vei construi un model care să prezică dacă un zbor va fi întârziat sau nu.
În acest exercițiu trebuie să reduci setul de date prin:
- eliminarea unei coloane fără valoare informativă și
- eliminarea rândurilor care nu conțin informații despre întârzierea zborului.
Datele sunt disponibile ca flights.
Notă: Poate fi util să revezi slide-urile din lecții în panoul Slide-uri, aflat lângă IPython Shell.
Acest exercițiu face parte din cursul
Machine Learning cu PySpark
Instrucțiuni pentru exercițiu
- Elimină coloana
flight. - Află câte înregistrări au valori lipsă în coloana
delay. - Elimină înregistrările cu valori lipsă din coloana
delay. - Elimină înregistrările cu valori lipsă din orice coloană și obține numărul de rânduri rămase.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Remove the 'flight' column
flights_drop_column = flights.____(____)
# Number of records with missing 'delay' values
flights_drop_column.____('delay IS NULL').____()
# Remove records with missing 'delay' values
flights_valid_delay = flights_drop_column.____(____)
# Remove records with missing values in any column and get the number of remaining rows
flights_none_missing = flights_valid_delay.____()
print(flights_none_missing.____())