โมเดลระยะเวลาบิน: Pipeline model

ถึงเวลานำ stage ทั้งหมดมาประกอบเข้าด้วยกันเป็น pipeline แล้ว

สร้าง pipeline จากนั้นเทรน pipeline บนข้อมูลชุดเทรน ซึ่งจะนำแต่ละ stage ใน pipeline ไปประมวลผลกับข้อมูลชุดเทรนตามลำดับ โดย stage ทั้งหมดจะไม่สัมผัสข้อมูลชุดทดสอบเลย จึงไม่มีปัญหา data leakage!

เมื่อเทรน pipeline ครบทุก stage แล้ว จะนำไปใช้ทำนายผลบนข้อมูลชุดทดสอบต่อไป

ข้อมูลอยู่ในตัวแปร flights ซึ่งถูกแบ่งแบบสุ่มเป็น flights_train และ flights_test

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Machine Learning with PySpark

ดูคอร์ส

คำแนะนำการฝึกหัด

Import คลาสสำหรับสร้าง pipeline
สร้างออบเจ็กต์ pipeline และระบุ stage ตามลำดับ ได้แก่ indexer, onehot, assembler และ regression
เทรน pipeline บนข้อมูลชุดเทรน
ทำนายผลบนข้อมูลชุดทดสอบ

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Import class for creating a pipeline
from pyspark.____ import ____

# Construct a pipeline
pipeline = ____(____=[____])

# Train the pipeline on the training data
pipeline = pipeline.____(____)

# Make predictions on the testing data
predictions = ____.____(____)

แก้ไขและรันโค้ด