Объединение DataFrame
В следующих двух главах вы будете строить модель, которая предсказывает задержку рейса на основе данных, с которыми мы уже работали. Модель также будет учитывать информацию о самолёте, выполнявшем маршрут, поэтому первый шаг — объединить две таблицы: flights и planes!
Это упражнение является частью курса
Основы PySpark
Инструкции к упражнению
- Сначала переименуйте столбец
yearв таблицеplanesвplane_year, чтобы избежать дублирования имён столбцов. - Создайте новый DataFrame с именем
model_data, объединив таблицуflightsс таблицейplanesпо ключевому столбцуtailnum.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Rename year column
planes = planes.withColumnRenamed(____)
# Join the DataFrames
model_data = flights.join(____, on=____, how="leftouter")