शुरू करेंमुफ़्त में शुरू करें

Spark SQL Join

कभी-कभी जटिल joins को SQL में लिखना कहीं आसान होता है। इस अभ्यास में, हम join keys पहले से ही एक ही फ़ॉर्मेट और प्रिसिशन में मानकर चलेंगे, और join करने के लिए SparkSQL का उपयोग करेंगे.

यह अभ्यास पाठ्यक्रम का हिस्सा है

PySpark के साथ Feature Engineering

पाठ्यक्रम देखें

अभ्यास निर्देश

  • createOrReplaceTempView के साथ DataFrames को SparkSQL टेबल के रूप में रजिस्टर कीजिए, और उनके नाम क्रमशः df और walk_df रखिए.
  • join_sql स्ट्रिंग में, बाएँ टेबल को df और दाएँ टेबल को walk_df सेट कीजिए.
  • join करने के लिए join_sql स्ट्रिंग पर spark.sql() कॉल कीजिए.

इंटरैक्टिव व्यावहारिक अभ्यास

इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।

# Register dataframes as tables
____.createOrReplaceTempView(____)
____.createOrReplaceTempView(____)

# SQL to join dataframes
join_sql = 	"""
			SELECT 
				*
			FROM ____
			LEFT JOIN ____
			ON df.longitude = walk_df.longitude
			AND df.latitude = walk_df.latitude
			"""
# Perform sql join
joined_df = spark.sql(____)
कोड संपादित करें और चलाएँ