Видалення стовпців і рядків
Раніше ви завантажили дані про авіарейси з файлу CSV. Ви збираєтеся розробити модель, яка передбачатиме, чи буде конкретний рейс із запізненням.
У цій вправі потрібно скоротити ці дані, виконавши:
1) видалення неінформативного стовпця та 2) видалення рядків, у яких немає інформації про те, чи був рейс із запізненням.
Дані доступні як flights.
Примітка: можливо, вам буде корисно переглянути слайди з уроків на панелі Slides поруч із IPython Shell.
Ця вправа є частиною курсу
Machine Learning з PySpark
Інструкції до вправи
- Видаліть стовпець
flight. - Дізнайтеся, скільки записів мають пропущені значення у стовпці
delay. - Видаліть записи з пропущеними значеннями у стовпці
delay. - Видаліть записи з пропущеними значеннями в будь-якому стовпці та отримайте кількість рядків, що залишилися.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Remove the 'flight' column
flights_drop_column = flights.____(____)
# Number of records with missing 'delay' values
flights_drop_column.____('delay IS NULL').____()
# Remove records with missing 'delay' values
flights_valid_delay = flights_drop_column.____(____)
# Remove records with missing values in any column and get the number of remaining rows
flights_none_missing = flights_valid_delay.____()
print(flights_none_missing.____())