การลบคอลัมน์และแถว
ก่อนหน้านี้คุณได้โหลดข้อมูลเที่ยวบินจากไฟล์ CSV มาแล้ว ในบทนี้เราจะสร้างโมเดลเพื่อพยากรณ์ว่าเที่ยวบินจะล่าช้าหรือไม่
ในแบบฝึกหัดนี้ ให้ลดขนาดข้อมูลโดย:
- ลบคอลัมน์ที่ไม่มีประโยชน์ออก และ
- ลบแถวที่ไม่มีข้อมูลว่าเที่ยวบินล่าช้าหรือไม่
ข้อมูลอยู่ในตัวแปร flights
หมายเหตุ: อาจเป็นประโยชน์หากลองทบทวนสไลด์จากบทเรียนในแผง สไลด์ ที่อยู่ถัดจาก IPython Shell
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Machine Learning with PySpark
คำแนะนำการฝึกหัด
- ลบคอลัมน์
flightออก - ตรวจสอบว่ามีระเบียนกี่รายการที่มีค่าว่างในคอลัมน์
delay - ลบระเบียนที่มีค่าว่างในคอลัมน์
delayออก - ลบระเบียนที่มีค่าว่างในคอลัมน์ใดก็ตามออก แล้วดูว่าเหลือแถวทั้งหมดกี่แถว
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Remove the 'flight' column
flights_drop_column = flights.____(____)
# Number of records with missing 'delay' values
flights_drop_column.____('delay IS NULL').____()
# Remove records with missing 'delay' values
flights_valid_delay = flights_drop_column.____(____)
# Remove records with missing values in any column and get the number of remaining rows
flights_none_missing = flights_valid_delay.____()
print(flights_none_missing.____())