शुरू करेंमुफ़्त में शुरू करें

Spark कॉन्फ़िगरेशन पढ़ना

आपने हाल ही में एक क्लस्टर को किसी क्लाउड प्रोवाइडर के जरिए कॉन्फ़िगर किया है. आपकी पहुँच केवल कमांड शेल या आपके Python कोड के माध्यम से है. आप क्लस्टर की कॉन्फ़िगरेशन को वैलिडेट करने के लिए कुछ Spark सेटिंग्स वेरिफाई करना चाहते हैं.

spark ऑब्जेक्ट उपयोग के लिए उपलब्ध है.

यह अभ्यास पाठ्यक्रम का हिस्सा है

PySpark के साथ डेटा क्लीनिंग

पाठ्यक्रम देखें

अभ्यास निर्देश

  • Spark एप्लिकेशन इंस्टेंस का नाम जाँचें ('spark.app.name').
  • पता करें कि ड्राइवर किस TCP पोर्ट पर रन करता है ('spark.driver.port').
  • निर्धारित करें कि joins के लिए कितनी partitions कॉन्फ़िगर हैं.
  • परिणाम दिखाएँ.

इंटरैक्टिव व्यावहारिक अभ्यास

इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।

# Name of the Spark application instance
app_name = spark.____.get(____)

# Driver TCP port
driver_tcp_port = ____

# Number of join partitions
num_partitions = ____('spark.sql.shuffle.____')

# Show the results
print("Name: %s" % ____)
print("Driver TCP port: %s" % ____)
print("Number of partitions: %s" % ____)
कोड संपादित करें और चलाएँ