Mô hình thời lượng chuyến bay: Mô hình Pipeline
Giờ bạn đã sẵn sàng ghép các stage đó lại trong một pipeline.
Bạn sẽ tạo pipeline rồi huấn luyện pipeline trên dữ liệu huấn luyện. Việc này sẽ áp dụng lần lượt từng stage trong pipeline lên dữ liệu huấn luyện. Không stage nào được “nhìn thấy” dữ liệu kiểm tra: hoàn toàn không có rò rỉ!
Khi toàn bộ pipeline đã được huấn luyện, nó sẽ được dùng để dự đoán trên dữ liệu kiểm tra.
Dữ liệu có trong flights, và đã được chia ngẫu nhiên thành flights_train và flights_test.
Bài tập này là một phần của khóa học
Machine Learning với PySpark
Hướng dẫn bài tập
- Import lớp để tạo pipeline.
- Tạo một đối tượng pipeline và chỉ định các stage
indexer,onehot,assemblervàregression, theo đúng thứ tự này. - Huấn luyện pipeline trên dữ liệu huấn luyện.
- Tạo dự đoán trên dữ liệu kiểm tra.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Import class for creating a pipeline
from pyspark.____ import ____
# Construct a pipeline
pipeline = ____(____=[____])
# Train the pipeline on the training data
pipeline = pipeline.____(____)
# Make predictions on the testing data
predictions = ____.____(____)