항공편 소요 시간 모델: 파이프라인 모델
이제 각 스테이지를 파이프라인으로 묶을 준비가 되었어요.
파이پ라인을 구성한 뒤 학습용 데이터로 파이프라인을 학습시킬 거예요. 그러면 파이프라인의 각 스테이지가 차례대로 학습용 데이터에 적용됩니다. 어떤 스테이지도 테스트 데이터에 노출되지 않으니, 데이터 누수는 없습니다!
전체 파이프라인이 학습을 마치면 이를 사용해 테스트 데이터에 대한 예측을 수행해요.
데이터셋은 flights이며, 무작위로 flights_train과 flights_test로 분할되어 있어요.
이 연습은 강의의 일부입니다
PySpark로 하는 Machine Learning
연습 안내
- 파이프라인을 생성하는 클래스를 임포트하세요.
indexer,onehot,assembler,regression순서로 스테이지를 지정해 파이프라인 객체를 생성하세요.- 학습용 데이터로 파이프라인을 학습시키세요.
- 테스트 데이터에 대한 예측을 생성하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Import class for creating a pipeline
from pyspark.____ import ____
# Construct a pipeline
pipeline = ____(____=[____])
# Train the pipeline on the training data
pipeline = pipeline.____(____)
# Make predictions on the testing data
predictions = ____.____(____)