शुरू करेंमुफ़्त में शुरू करें

फ्लाइट origin का एन्कोडिंग

flights डेटा में org कॉलम एक कैटेगोरिकल वैरिएबल है जो बताता है कि फ्लाइट किस एयरपोर्ट से उड़ान भरती है.

  • ORD — O'Hare International Airport (Chicago)
  • SFO — San Francisco International Airport
  • JFK — John F Kennedy International Airport (New York)
  • LGA — La Guardia Airport (New York)
  • SMF — Sacramento
  • SJC — San Jose
  • OGG — Kahului (Hawaii)

स्पष्ट है कि यह एयरपोर्ट्स का केवल एक छोटा सबसेट है. फिर भी, क्योंकि यह एक कैटेगोरिकल वैरिएबल है, इसे रिग्रेशन मॉडल में उपयोग करने से पहले one-hot encode करना ज़रूरी है.

डेटा flights नाम के वैरिएबल में हैं. आप पहले ही एक string indexer का उपयोग करके org में मौजूद स्ट्रिंग्स के अनुरूप इंडेक्स्ड वैल्यूज़ वाला कॉलम बना चुके हैं.

आपके लिए यह मददगार हो सकता है कि आप IPython Shell के पास वाले Slides पैनल में लेसन की स्लाइड्स दोबारा देखें.

यह अभ्यास पाठ्यक्रम का हिस्सा है

PySpark के साथ Machine Learning

पाठ्यक्रम देखें

अभ्यास निर्देश

  • one-hot encoder क्लास को इम्पोर्ट करें.
  • एक one-hot encoder इंस्टांस बनाइए, जहाँ input कॉलम org_idx और output कॉलम org_dummy हो.
  • flights डेटा पर one-hot encoder लागू करें.
  • कैटेगोरिकल वैल्यूज़ से बाइनरी एन्कोडेड डमी वैरिएबल्स की मैपिंग का सारांश बनाइए. केवल यूनिक वैल्यूज़ शामिल करें और org_idx के अनुसार ऑर्डर करें.

इंटरैक्टिव व्यावहारिक अभ्यास

इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।

# Import the one hot encoder class
from pyspark.ml.____ import ____

# Create an instance of the one hot encoder
onehot = ____(inputCols=[____], outputCols=[____])

# Apply the one hot encoder to the flights data
onehot = onehot.____(____)
flights_onehot = onehot.____(____)

# Check the results
flights_onehot.____('org', 'org_idx', 'org_dummy').____().____('org_idx').show()
कोड संपादित करें और चलाएँ