Удаление столбцов и строк
Ранее вы загрузили данные о авиарейсах из CSV-файла. Теперь вы будете разрабатывать модель, которая предсказывает, будет ли тот или иной рейс задержан.
В этом упражнении необходимо сократить набор данных:
- удалив неинформативный столбец;
- удалив строки, в которых отсутствует информация о задержке рейса.
Данные доступны в переменной flights.
Примечание: При необходимости вы можете обратиться к слайдам урока на панели Слайды рядом с IPython Shell.
Это упражнение является частью курса
Машинное обучение с PySpark
Инструкции к упражнению
- Удалите столбец
flight. - Определите, сколько записей содержат пропущенные значения в столбце
delay. - Удалите записи с пропущенными значениями в столбце
delay. - Удалите записи с пропущенными значениями в любом столбце и подсчитайте количество оставшихся строк.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Remove the 'flight' column
flights_drop_column = flights.____(____)
# Number of records with missing 'delay' values
flights_drop_column.____('delay IS NULL').____()
# Remove records with missing 'delay' values
flights_valid_delay = flights_drop_column.____(____)
# Remove records with missing values in any column and get the number of remaining rows
flights_none_missing = flights_valid_delay.____()
print(flights_none_missing.____())