Модель продолжительности полёта: только расстояние
В этом упражнении вы построите регрессионную модель для предсказания продолжительности полёта (столбец duration).
Пока модель будет простой: в качестве единственного признака используйте расстояние полёта (столбец km).
Данные находятся в flights. Первые несколько записей отображены в терминале. Данные также разделены на обучающую и тестовую выборки, доступные как flights_train и flights_test.
Это упражнение является частью курса
Машинное обучение с PySpark
Инструкции к упражнению
- Создайте объект линейной регрессии. Укажите название столбца с целевой переменной. Обучите модель на обучающих данных.
- Сформируйте прогнозы на тестовых данных.
- Создайте объект для оценки регрессии и используйте его, чтобы вычислить RMSE на тестовых данных.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
from pyspark.ml.regression import LinearRegression
from pyspark.ml.evaluation import RegressionEvaluator
# Create a regression object and train on training data
regression = ____(____).____(____)
# Create predictions for the testing data and take a look at the predictions
predictions = ____.____(____)
predictions.select('duration', 'prediction').show(5, False)
# Calculate the RMSE
____(____).____(predictions)