Spark SQL Join

Bazen karmaşık join'leri SQL ile yazmak çok daha kolaydır. Bu egzersizde, join anahtarları zaten aynı biçim ve hassasiyette hazır olacak; birleştirmeyi yapmak için SparkSQL kullanacağız.

Bu egzersiz, kursun bir parçasıdır

PySpark ile Özellik Mühendisliği

Kursa Göz Atın

Egzersiz talimatları

DataFrame'leri createOrReplaceTempView ile SparkSQL tabloları olarak kaydet; isimleri sırasıyla df ve walk_df olsun.
join_sql dizesinde, sol tabloyu df, sağ tabloyu walk_df olarak ayarla.
Join işlemini gerçekleştirmek için join_sql dizesini spark.sql() ile çalıştır.

Uygulamalı etkileşimli egzersiz

Bu egzersizi bu örnek kodu tamamlayarak deneyin.

# Register dataframes as tables
____.createOrReplaceTempView(____)
____.createOrReplaceTempView(____)

# SQL to join dataframes
join_sql = 	"""
			SELECT 
				*
			FROM ____
			LEFT JOIN ____
			ON df.longitude = walk_df.longitude
			AND df.latitude = walk_df.latitude
			"""
# Perform sql join
joined_df = spark.sql(____)

Kodu Düzenle ve Çalıştır