Hepsini bir araya getirme II
Bir DataFrame oluştur, dönüşümler uygula, önbelleğe al ve önbelleğe alınıp alınmadığını kontrol et. Ardından belleği boşaltmak için önbelleği kaldır.
Bu egzersiz için bir spark oturumu senin için hazırlandı! Sonucun ne olduğunu anlamak için .explain() metodunun çıktısına dikkatlice bak!
Bu egzersiz
PySpark'e Giriş
kursunun bir parçasıdırEgzersiz talimatları
dfDataFrame'ini önbelleğe al.agg_resultDataFrame'inin işlem planını açıkla.- İşlemden sonra önbelleğe alınmış
dfDataFrame'ini unpersist et.
Uygulamalı interaktif egzersiz
Bu örnek kodu tamamlayarak bu egzersizi bitirin.
# Cache the DataFrame
df.____
# Perform aggregation
agg_result = df.groupBy("Department").sum("Salary")
agg_result.show()
# Analyze the execution plan
agg_result.____
# Uncache the DataFrame
df.____