Spark-SQL-Join

Manchmal ist es viel einfacher, komplexe Joins in SQL zu schreiben. In dieser Übung starten wir mit Join-Keys, die bereits im gleichen Format und mit derselben Präzision vorliegen, verwenden aber SparkSQL, um den Join auszuführen.

Diese Übung ist Teil des Kurses

<Kurs>Feature Engineering mit PySpark</Kurs>

Kurs ansehen

Übungsanweisungen

Registriere die DataFrames mit createOrReplaceTempView als SparkSQL-Tabellen und nenne sie df bzw. walk_df.
Setze im String join_sql die linke Tabelle auf df und die rechte Tabelle auf walk_df.
Rufe spark.sql() mit dem String join_sql auf, um den Join auszuführen.

Interaktive praktische Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

# Register dataframes as tables
____.createOrReplaceTempView(____)
____.createOrReplaceTempView(____)

# SQL to join dataframes
join_sql = 	"""
			SELECT 
				*
			FROM ____
			LEFT JOIN ____
			ON df.longitude = walk_df.longitude
			AND df.latitude = walk_df.latitude
			"""
# Perform sql join
joined_df = spark.sql(____)

Code bearbeiten und ausführen