เชื่อม DataFrame เข้าด้วยกัน
ในสองบทถัดไป คุณจะได้สร้างโมเดลสำหรับพยากรณ์ว่าเที่ยวบินจะล่าช้าหรือไม่ โดยอิงจากข้อมูลเที่ยวบินที่เราใช้งานมาตลอด โมเดลนี้จะรวมข้อมูลของเครื่องบินที่บินในเส้นทางนั้นด้วย ดังนั้นขั้นตอนแรกคือการ join สองตาราง ได้แก่ flights และ planes
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
พื้นฐาน PySpark
คำแนะนำการฝึกหัด
- ขั้นแรก เปลี่ยนชื่อคอลัมน์
yearในplanesเป็นplane_yearเพื่อหลีกเลี่ยงชื่อคอลัมน์ที่ซ้ำกัน - สร้าง DataFrame ใหม่ชื่อ
model_dataโดย join ตารางflightsกับplanesโดยใช้คอลัมน์tailnumเป็น key
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Rename year column
planes = planes.withColumnRenamed(____)
# Join the DataFrames
model_data = flights.join(____, on=____, how="leftouter")