एक Boolean बनाना
मान लीजिए कि आप हाँ/ना वाला सवाल मॉडल कर रहे हैं: क्या उड़ान लेट है? लेकिन, आपके डेटा में हर उड़ान के लिए आगमन में देरी (मिनटों में) है। इसलिए, आपको एक बूलियन कॉलम बनाना होगा जो बताए कि उड़ान लेट थी या नहीं!
यह अभ्यास पाठ्यक्रम का हिस्सा है
PySpark की नींव
अभ्यास निर्देश
.withColumn()मेथड का उपयोग करकेis_lateनाम का कॉलम बनाएँ. यह कॉलमmodel_data.arr_delay > 0के बराबर हो.- इस कॉलम को इंटीजर कॉलम में बदलें ताकि आप इसे अपने मॉडल में उपयोग कर सकें, और इसका नाम
labelरखें (यह Spark की मशीन लर्निंग रूटीन में response वैरिएबल का डिफ़ॉल्ट नाम है). - missing values को फ़िल्टर कर दें (यह आपके लिए पहले से कर दिया गया है).
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Create is_late
model_data = model_data.withColumn("is_late", ____)
# Convert to an integer
model_data = model_data.withColumn("label", ____)
# Remove missing values
model_data = model_data.filter("arr_delay is not NULL and dep_delay is not NULL and air_time is not NULL and plane_year is not NULL")