Hepsini bir araya getirme II
Bir DataFrame oluştur, dönüşümler uygula, önbelleğe al ve önbelleğe alınıp alınmadığını kontrol et. Ardından belleği boşaltmak için önbelleği kaldır.
Bu egzersiz için bir spark oturumu senin için hazırlandı! Sonucun ne olduğunu anlamak için .explain() metodunun çıktısına dikkatlice bak!
Bu egzersiz, kursun bir parçasıdır
PySpark'e Giriş
Egzersiz talimatları
dfDataFrame'ini önbelleğe al.agg_resultDataFrame'inin işlem planını açıkla.- İşlemden sonra önbelleğe alınmış
dfDataFrame'ini unpersist et.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Cache the DataFrame
df.____
# Perform aggregation
agg_result = df.groupBy("Department").sum("Salary")
agg_result.show()
# Analyze the execution plan
agg_result.____
# Uncache the DataFrame
df.____