Видалення стовпчиків і рядків
Раніше ви завантажили дані про авіарейси з файлу CSV. Ви збираєтеся розробити модель, яка передбачатиме, чи буде конкретний рейс із запізненням.
У цій вправі потрібно «очистити» дані, а саме:
- видалити неінформативний стовпчик і
- видалити рядки, у яких немає інформації про те, чи був рейс із затримкою.
Дані доступні як flights.
Примітка: Може бути корисно переглянути слайди з уроків у панелі Слайди поруч із IPython Shell.
Ця вправа є частиною курсу
Machine Learning з PySpark
Інструкції до вправи
- Видаліть стовпчик
flight. - Дізнайтеся, скільки записів мають пропущені значення у стовпчику
delay. - Видаліть записи з пропущеними значеннями у стовпчику
delay. - Видаліть записи з пропущеними значеннями в будь-якому стовпчику та отримайте кількість рядків, що залишилися.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Remove the 'flight' column
flights_drop_column = flights.____(____)
# Number of records with missing 'delay' values
flights_drop_column.____('delay IS NULL').____()
# Remove records with missing 'delay' values
flights_valid_delay = flights_drop_column.____(____)
# Remove records with missing values in any column and get the number of remaining rows
flights_none_missing = flights_valid_delay.____()
print(flights_none_missing.____())