कॉलम और पंक्तियाँ हटाना
आपने पहले CSV फ़ाइल से एयरलाइन फ्लाइट डेटा लोड किया था. अब आप एक ऐसा मॉडल बनाएँगे जो यह भविष्यवाणी करेगा कि कोई फ्लाइट डिले होगी या नहीं.
इस अभ्यास में आपको डेटा को इन तरीकों से छोटा/साफ़ करना है:
- एक गैर-उपयोगी कॉलम हटाना, और
- वे पंक्तियाँ हटाना जिनमें यह जानकारी नहीं है कि फ्लाइट डिले हुई थी या नहीं.
डेटा flights के रूप में उपलब्ध हैं.
नोट:: आपके लिए यह उपयोगी हो सकता है कि आप IPython Shell के बगल में Slides पैनल में मौजूद लेसन्स की स्लाइड्स दोबारा देख लें.
यह अभ्यास पाठ्यक्रम का हिस्सा है
PySpark के साथ Machine Learning
अभ्यास निर्देश
flightकॉलम हटाएँ.- पता करें कि
delayकॉलम में कितने रिकॉर्ड में वैल्यू मिसिंग है. delayकॉलम में मिसिंग वैल्यू वाले रिकॉर्ड हटा दें.- जिन रिकॉर्ड में किसी भी कॉलम में वैल्यू मिसिंग है, उन्हें हटा दें और बची हुई पंक्तियों की संख्या प्राप्त करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Remove the 'flight' column
flights_drop_column = flights.____(____)
# Number of records with missing 'delay' values
flights_drop_column.____('delay IS NULL').____()
# Remove records with missing 'delay' values
flights_valid_delay = flights_drop_column.____(____)
# Remove records with missing values in any column and get the number of remaining rows
flights_none_missing = flights_valid_delay.____()
print(flights_none_missing.____())