Łączymy wszystko razem II
Utwórz DataFrame, zastosuj przekształcenia, zapisz go w pamięci podręcznej i sprawdź, czy buforowanie się powiodło. Następnie usuń go z pamięci podręcznej, aby zwolnić zasoby.
Sesja spark została już dla ciebie przygotowana! Przyjrzyj się uważnie wynikom metody .explain(), aby zrozumieć, co się dzieje podczas przetwarzania.
To ćwiczenie jest częścią kursu
Wprowadzenie do PySpark
Instrukcje do ćwiczenia
- Zapisz DataFrame
dfw pamięci podręcznej. - Wyjaśnij przetwarzanie DataFrame
agg_result. - Po zakończeniu przetwarzania usuń DataFrame
dfz pamięci podręcznej za pomocąunpersist().
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Cache the DataFrame
df.____
# Perform aggregation
agg_result = df.groupBy("Department").sum("Salary")
agg_result.show()
# Analyze the execution plan
agg_result.____
# Uncache the DataFrame
df.____