कॉलम और पंक्तियाँ हटाना
आपने पहले CSV फ़ाइल से एयरलाइन फ़्लाइट डेटा लोड किया था. अब आप ऐसा मॉडल बनाएँगे जो यह प्रेडिक्ट करेगा कि कोई दी गई फ़्लाइट डिले होगी या नहीं.
इस अभ्यास में आपको डेटा को इस तरह ट्रिम करना है:
- एक गैर-उपयोगी कॉलम हटाकर, और
- वे पंक्तियाँ हटाकर जिनमें यह जानकारी नहीं है कि फ़्लाइट डिले हुई थी या नहीं.
डेटा flights के रूप में उपलब्ध है.
नोट: आपको IPython Shell के बगल वाले Slides पैनल में दी गई लेसन स्लाइड्स दोहराना उपयोगी लग सकता है.
यह अभ्यास पाठ्यक्रम का हिस्सा है
PySpark के साथ Machine Learning
अभ्यास निर्देश
flightकॉलम हटाएँ.- पता करें कि
delayकॉलम में कितने रिकॉर्ड्स में missing वैल्यू है. delayकॉलम में missing वैल्यू वाले रिकॉर्ड्स हटा दें.- किसी भी कॉलम में missing वैल्यू वाले रिकॉर्ड्स हटा दें और बची हुई पंक्तियों की संख्या निकालें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Remove the 'flight' column
flights_drop_column = flights.____(____)
# Number of records with missing 'delay' values
flights_drop_column.____('delay IS NULL').____()
# Remove records with missing 'delay' values
flights_valid_delay = flights_drop_column.____(____)
# Remove records with missing values in any column and get the number of remaining rows
flights_none_missing = flights_valid_delay.____()
print(flights_none_missing.____())