Модель продолжительности полёта: добавление аэропорта вылета
Одни аэропорты загружены больше других, другие — крупнее по размеру. Рейсы, вылетающие из больших или загруженных аэропортов, скорее всего, проведут больше времени на рулении или в ожидании разрешения на взлёт. Поэтому логично предположить, что продолжительность полёта зависит не только от преодолеваемого расстояния, но и от аэропорта вылета.
Вы сделаете регрессионную модель немного сложнее, добавив аэропорт вылета в качестве предиктора.
Данные уже разделены на обучающую и тестовую выборки и доступны как flights_train и flights_test. Аэропорт вылета, хранящийся в столбце org, был проиндексирован в org_idx, а затем закодирован методом one-hot в org_dummy. Первые несколько записей отображаются в терминале.
Это упражнение является частью курса
Машинное обучение с PySpark
Инструкции к упражнению
- Обучите модель линейной регрессии на обучающих данных.
- Получите предсказания для тестовых данных.
- Вычислите RMSE для предсказаний на тестовых данных.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
from pyspark.ml.regression import LinearRegression
from pyspark.ml.evaluation import RegressionEvaluator
# Create a regression object and train on training data
regression = ____(____).____(____)
# Create predictions for the testing data
predictions = ____.____(____)
# Calculate the RMSE on testing data
____(____).____(____)