การเชื่อมข้อมูลเที่ยวบินกับสนามบินปลายทาง
คุณได้รับการว่าจ้างให้เป็นวิศวกรข้อมูลให้กับบริษัทท่องเที่ยวระดับโลก ภารกิจแรกคือช่วยปรับปรุงการดำเนินงานของบริษัทด้วยการวิเคราะห์ข้อมูลเที่ยวบิน ในพื้นที่ทำงานมีชุดข้อมูล 2 ชุด ได้แก่ ชุดหนึ่งเก็บรายละเอียดเที่ยวบิน (flights) และอีกชุดเก็บข้อมูลสนามบินปลายทาง (airports) โดยทั้งสองชุดพร้อมใช้งานแล้ว
เป้าหมายคือนำชุดข้อมูลทั้งสองมารวมกัน เพื่อสร้างชุดข้อมูลที่เชื่อมแต่ละเที่ยวบินเข้ากับสนามบินปลายทาง
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
PySpark เบื้องต้น
คำแนะนำการฝึกหัด
- ตรวจสอบ DataFrame
airportsสังเกตว่าคอลัมน์คีย์ใดที่จะใช้เชื่อมairportsเข้ากับตารางflights - เชื่อม
flightsกับ DataFrameairportsบนคอลัมน์"dest"แล้วบันทึกผลลัพธ์เป็นflights_with_airports - ตรวจสอบ
flights_with_airportsอีกครั้ง สังเกตข้อมูลใหม่ที่ถูกเพิ่มเข้ามา
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Examine the data
airports.____()
# .withColumnRenamed() renames the "faa" column to "dest"
airports = airports.withColumnRenamed("faa", "dest")
# Join the DataFrames
flights_with_airports = ____
# Examine the new DataFrame
flights_with_airports.____