สร้าง Pipeline
ถึงเวลาสร้าง Pipeline แล้ว!
Pipeline คือคลาสในโมดูล pyspark.ml ที่รวม Estimators และ Transformers ทั้งหมดที่สร้างไว้เข้าด้วยกัน ช่วยให้นำกระบวนการสร้างโมเดลเดิมกลับมาใช้ซ้ำได้ง่าย ๆ เพียงแค่ห่อทุกอย่างไว้ในออบเจ็กต์เดียว สะดวกมากใช่ไหม?
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
พื้นฐาน PySpark
คำแนะนำการฝึกหัด
- นำเข้า
Pipelineจากpyspark.ml - เรียกใช้ constructor
Pipeline()พร้อมระบุอาร์กิวเมนต์แบบคีย์เวิร์ดstagesเพื่อสร้างPipelineชื่อflights_pipestagesควรเป็นลิสต์ที่รวมทุก stage ที่ต้องการให้ข้อมูลผ่าน ในที่นี้คือ:[dest_indexer, dest_encoder, carr_indexer, carr_encoder, vec_assembler]
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Import Pipeline
from ____ import ____
# Make the pipeline
flights_pipe = Pipeline(stages=____)