การสร้างค่าบูลีน
ลองนึกภาพว่าเรากำลังสร้างโมเดลเพื่อตอบคำถามใช่หรือไม่ใช่: เที่ยวบินนี้ล่าช้าหรือเปล่า? แต่ข้อมูลที่มีอยู่บันทึกความล่าช้าของการมาถึงเป็นนาที ดังนั้นจึงต้องสร้างคอลัมน์บูลีนเพื่อระบุว่าเที่ยวบินล่าช้าหรือไม่
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
พื้นฐาน PySpark
คำแนะนำการฝึกหัด
- ใช้เมธอด
.withColumn()เพื่อสร้างคอลัมน์is_lateโดยคอลัมน์นี้มีค่าเท่ากับmodel_data.arr_delay > 0 - แปลงคอลัมน์นี้ให้เป็นจำนวนเต็มเพื่อให้ใช้งานในโมเดลได้ และตั้งชื่อว่า
label(ซึ่งเป็นชื่อเริ่มต้นของตัวแปรตอบสนองในชุดเครื่องมือ machine learning ของ Spark) - กรองค่าที่หายไปออก (ขั้นตอนนี้ดำเนินการให้แล้ว)
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Create is_late
model_data = model_data.withColumn("is_late", ____)
# Convert to an integer
model_data = model_data.withColumn("label", ____)
# Remove missing values
model_data = model_data.filter("arr_delay is not NULL and dep_delay is not NULL and air_time is not NULL and plane_year is not NULL")