Модель продолжительности полёта: конвейер
Теперь можно объединить все этапы в единый конвейер.
Вы создадите конвейер и обучите его на обучающих данных. При этом каждый этап конвейера последовательно применяется к обучающей выборке. Тестовые данные ни на одном из этапов не используются — утечки данных не будет!
После обучения конвейер применяется для получения предсказаний на тестовой выборке.
Данные доступны в виде flights — набора, случайным образом разделённого на flights_train и flights_test.
Это упражнение является частью курса
Машинное обучение с PySpark
Инструкции к упражнению
- Импортируйте класс для создания конвейера.
- Создайте объект конвейера и укажите этапы
indexer,onehot,assemblerиregressionименно в таком порядке. - Обучите конвейер на обучающих данных.
- Получите предсказания на тестовых данных.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Import class for creating a pipeline
from pyspark.____ import ____
# Construct a pipeline
pipeline = ____(____=[____])
# Train the pipeline on the training data
pipeline = pipeline.____(____)
# Make predictions on the testing data
predictions = ____.____(____)