Unión en Spark SQL

A veces es mucho más fácil escribir uniones complejas en SQL. En este ejercicio, partiremos de que las claves de unión ya tienen el mismo formato y precisión, pero usaremos SparkSQL para realizar la unión.

Este ejercicio forma parte del curso

Ingeniería de características con PySpark

Ver curso

Instrucciones del ejercicio

Registra los DataFrames como tablas de SparkSQL con createOrReplaceTempView; llámalos df y walk_df, respectivamente.
En la cadena join_sql, establece la tabla izquierda como df y la tabla derecha como walk_df.
Llama a spark.sql() con la cadena join_sql para ejecutar la unión.

ejercicio interactivo práctico

Prueba este ejercicio completando este código de ejemplo.

# Register dataframes as tables
____.createOrReplaceTempView(____)
____.createOrReplaceTempView(____)

# SQL to join dataframes
join_sql = 	"""
			SELECT 
				*
			FROM ____
			LEFT JOIN ____
			ON df.longitude = walk_df.longitude
			AND df.latitude = walk_df.latitude
			"""
# Perform sql join
joined_df = spark.sql(____)

Editar y ejecutar código