Join in Spark SQL

A volte è molto più semplice scrivere join complessi in SQL. In questo esercizio, partiremo con le chiavi di join già nello stesso formato e con la stessa precisione, ma useremo SparkSQL per eseguire il join.

Questo esercizio fa parte del corso

Feature Engineering con PySpark

Visualizza corso

Istruzioni dell'esercizio

Registra i DataFrame come tabelle SparkSQL con createOrReplaceTempView, chiamandole df e walk_df rispettivamente.
Nella stringa join_sql, imposta la tabella di sinistra su df e quella di destra su walk_df.
Richiama spark.sql() sulla stringa join_sql per eseguire il join.

esercizio interattivo pratico

Prova questo esercizio completando questo codice di esempio.

# Register dataframes as tables
____.createOrReplaceTempView(____)
____.createOrReplaceTempView(____)

# SQL to join dataframes
join_sql = 	"""
			SELECT 
				*
			FROM ____
			LEFT JOIN ____
			ON df.longitude = walk_df.longitude
			AND df.latitude = walk_df.latitude
			"""
# Perform sql join
joined_df = spark.sql(____)

Modifica ed esegui il codice