Spark SQL-join

Soms is het veel makkelijker om complexe joins in SQL te schrijven. In deze oefening starten we met joinsleutels die al in hetzelfde formaat en met dezelfde precisie staan, maar we gebruiken SparkSQL om de join uit te voeren.

Deze oefening maakt deel uit van de cursus

Feature Engineering met PySpark

Bekijk cursus

Oefeninstructies

Registreer de DataFrames als SparkSQL-tabellen met createOrReplaceTempView, noem ze respectievelijk df en walk_df.
Zet in de join_sql-string de linkertabel op df en de rechtertabel op walk_df.
Roep spark.sql() aan op de join_sql-string om de join uit te voeren.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Register dataframes as tables
____.createOrReplaceTempView(____)
____.createOrReplaceTempView(____)

# SQL to join dataframes
join_sql = 	"""
			SELECT 
				*
			FROM ____
			LEFT JOIN ____
			ON df.longitude = walk_df.longitude
			AND df.latitude = walk_df.latitude
			"""
# Perform sql join
joined_df = spark.sql(____)

Code bewerken en uitvoeren