Створіть конвеєр (pipeline)
Нарешті ви готові створити Pipeline!
Pipeline — це клас у модулі pyspark.ml, який поєднує всі Estimators і Transformers, які ви вже створили. Це дає змогу багаторазово використовувати один і той самий процес моделювання, обгорнувши його в один простий об'єкт. Зручно, чи не так?
Ця вправа є частиною курсу
Основи PySpark
Інструкції до вправи
- Імпортуйте
Pipelineзpyspark.ml. - Викличте конструктор
Pipeline()з іменованим аргументомstages, щоб створитиPipelineпід назвоюflights_pipe.stagesмає бути списком, який містить усі етапи, через які повинні пройти ваші дані в конвеєрі. Тут це просто:[dest_indexer, dest_encoder, carr_indexer, carr_encoder, vec_assembler]
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Import Pipeline
from ____ import ____
# Make the pipeline
flights_pipe = Pipeline(stages=____)