การรวมคอลัมน์เข้าด้วยกัน
ขั้นตอนสุดท้ายของการเตรียมข้อมูลคือการรวมคอลัมน์ตัวทำนายทั้งหมดให้เป็นคอลัมน์เดียว
ข้อมูล flights ที่ อัปเดตแล้ว ซึ่งรวมการเปลี่ยนแปลงจากแบบฝึกหัดก่อนหน้าทั้งหมด มีคอลัมน์ตัวทำนายดังนี้:
mon,domและdowcarrier_idx(ค่าที่ผ่านการ index จากcarrier)org_idx(ค่าที่ผ่านการ index จากorg)kmdepartduration
หมายเหตุ: อาร์กิวเมนต์ truncate=False ที่ส่งให้เมธอด show() จะป้องกันไม่ให้ข้อมูลถูกตัดทอนในผลลัพธ์
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Machine Learning with PySpark
คำแนะนำการฝึกหัด
- Import คลาสที่ใช้สำหรับรวมตัวทำนาย
- สร้างออบเจกต์ assembler เพื่อรวมคอลัมน์ตัวทำนายทั้งหมดให้เป็นคอลัมน์เดียว
- ใช้ assembler เพื่อสร้างคอลัมน์รวมใหม่
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Import the necessary class
from pyspark.ml.feature import ____
# Create an assembler object
assembler = ____(inputCols=[
____
], outputCol='features')
# Consolidate predictor columns
flights_assembled = assembler.____(____)
# Check the resulting column
flights_assembled.select('features', 'delay').show(5, truncate=False)