Join med Spark SQL

Ibland är det enklare att skriva komplexa joins direkt i SQL. I den här övningen är join-nycklarna redan i samma format och precision – nu ska du använda SparkSQL för att utföra joins.

Den här övningen är en del av kursen

Feature Engineering med PySpark

Visa kurs

Övningsinstruktioner

Registrera DataFrames som SparkSQL-tabeller med createOrReplaceTempView och namnge dem df respektive walk_df.
I strängen join_sql, sätt den vänstra tabellen till df och den högra till walk_df.
Anropa spark.sql() med strängen join_sql för att utföra joinen.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Register dataframes as tables
____.createOrReplaceTempView(____)
____.createOrReplaceTempView(____)

# SQL to join dataframes
join_sql = 	"""
			SELECT 
				*
			FROM ____
			LEFT JOIN ____
			ON df.longitude = walk_df.longitude
			AND df.latitude = walk_df.latitude
			"""
# Perform sql join
joined_df = spark.sql(____)

Redigera och kör kod