Модель тривалості польоту: Pipeline-модель
Тепер ви готові об'єднати ці етапи в конвеєр (pipeline).
Ви створите конвеєр, а потім натренуєте його на тренувальних даних. Це послідовно застосує кожен окремий етап конвеєра до тренувальних даних. Жоден з етапів узагалі не побачить тестові дані: витоку не буде!
Коли весь конвеєр буде натреновано, його використають для передбачень на тестових даних.
Дані доступні як flights, які випадково розділено на flights_train та flights_test.
Ця вправа є частиною курсу
Machine Learning з PySpark
Інструкції до вправи
- Імпортуйте клас для створення конвеєра (pipeline).
- Створіть об'єкт конвеєра та вкажіть етапи
indexer,onehot,assemblerіregression— саме в такому порядку. - Натренуйте конвеєр на тренувальних даних.
- Зробіть передбачення на тестових даних.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Import class for creating a pipeline
from pyspark.____ import ____
# Construct a pipeline
pipeline = ____(____=[____])
# Train the pipeline on the training data
pipeline = pipeline.____(____)
# Make predictions on the testing data
predictions = ____.____(____)