모두 합쳐 보기 II
DataFrame을 만들고 변환을 적용한 뒤, 캐시하고 캐시되었는지 확인하세요. 그런 다음, 메모리를 해제하기 위해 캐시를 해제하세요.
이 연습 문제에서는 spark 세션이 준비되어 있어요! .explain() 메서드의 결과를 주의 깊게 살펴보고 무엇이 수행되는지 이해해 보세요!
이 연습은 강의의 일부입니다
PySpark 입문
연습 안내
dfDataFrame을 캐시하세요.agg_resultDataFrame의 처리 과정을 설명하세요.- 처리 후 캐시된
dfDataFrame을 unpersist 하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Cache the DataFrame
df.____
# Perform aggregation
agg_result = df.groupBy("Department").sum("Salary")
agg_result.show()
# Analyze the execution plan
agg_result.____
# Uncache the DataFrame
df.____