เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

การรวมข้อมูล II

เพื่อให้คุ้นเคยกับเมธอดการรวมข้อมูลแบบต่างๆ ที่มีให้ใช้งาน มาลองทำแบบฝึกหัดเพิ่มเติมที่เกี่ยวกับตาราง flights กัน!

จำไว้ว่า SparkSession ชื่อ spark และ Spark DataFrame ชื่อ flights พร้อมใช้งานใน workspace ของคุณแล้ว

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

พื้นฐาน PySpark

ดูคอร์ส

คำแนะนำการฝึกหัด

  • ใช้เมธอด .avg() เพื่อหาค่าเฉลี่ยเวลาในอากาศของเที่ยวบิน Delta Airlines (ที่คอลัมน์ carrier มีค่าเป็น "DL") ที่ออกเดินทางจาก SEA โดยข้อมูลจุดออกเดินทางอยู่ในคอลัมน์ origin จากนั้น show() ผลลัพธ์
  • ใช้เมธอด .sum() เพื่อหาจำนวนชั่วโมงรวมที่เครื่องบินทุกลำในชุดข้อมูลนี้ใช้อยู่ในอากาศ โดยสร้างคอลัมน์ชื่อ duration_hrs จากคอลัมน์ air_time จากนั้น show() ผลลัพธ์

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Average duration of Delta flights
flights.filter(____.____ == "____").filter(____.____ == "____").groupBy().avg("____").show()

# Total hours in the air
flights.withColumn("____", flights.air_time/60).groupBy().sum("____").show()
แก้ไขและรันโค้ด