การลบคอลัมน์และแถว
ก่อนหน้านี้คุณได้โหลดข้อมูลเที่ยวบินจากไฟล์ CSV แล้ว ตอนนี้เราจะสร้างโมเดลเพื่อทำนายว่าเที่ยวบินแต่ละเที่ยวจะล่าช้าหรือไม่
ในแบบฝึกหัดนี้ ให้ตัดทอนข้อมูลด้วยการ:
- ลบคอลัมน์ที่ไม่มีประโยชน์ออก และ
- ลบแถวที่ไม่มีข้อมูลเกี่ยวกับการล่าช้าของเที่ยวบินออก
ข้อมูลพร้อมใช้งานในตัวแปร flights
หมายเหตุ: อาจเป็นประโยชน์หากกลับไปทบทวนสไลด์จากบทเรียนในแผง Slides ถัดจาก IPython Shell
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Machine Learning with PySpark
คำแนะนำการฝึกหัด
- ลบคอลัมน์
flightออก - ตรวจสอบว่ามีกี่ระเบียนที่มีค่าว่างในคอลัมน์
delay - ลบระเบียนที่มีค่าว่างในคอลัมน์
delayออก - ลบระเบียนที่มีค่าว่างในคอลัมน์ใดก็ได้ออก แล้วดูจำนวนแถวที่เหลือ
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Remove the 'flight' column
flights_drop_column = flights.____(____)
# Number of records with missing 'delay' values
flights_drop_column.____('delay IS NULL').____()
# Remove records with missing 'delay' values
flights_valid_delay = flights_drop_column.____(____)
# Remove records with missing values in any column and get the number of remaining rows
flights_none_missing = flights_valid_delay.____()
print(flights_none_missing.____())