임시 뷰에서 쿼리 실행하기
이 연습 문제에서는 PySpark에서 DataFrame을 임시 SQL 뷰로 등록하는 방법을 연습해 봅니다. 임시 뷰를 사용하면 SQL 문법으로 데이터를 조회할 수 있어, 복잡한 데이터 조작을 더 쉽고 직관적으로 수행할 수 있습니다. 목표는 제공된 DataFrame으로부터 뷰를 만들고, 그 뷰를 대상으로 SQL 쿼리를 실행하는 것입니다. 이는 ETL과 ELT 작업에서 매우 흔한 절차예요.
작업 공간에는 이미 SparkContext spark와 PySpark DataFrame df가 준비되어 있습니다.
이 연습은 강의의 일부입니다
PySpark 입문
연습 안내
- DataFrame
df에서"data_view"라는 새 뷰를 등록하세요. - 제공된 SQL 쿼리를 실행해 직무별(total salary by position) 총 급여를 계산하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Register as a view
df.____("data_view")
# Advanced SQL query: Calculate total salary by Position
result = ____("""
SELECT Position, SUM(Salary) AS Total_Salary
FROM data_view
GROUP BY Position
ORDER BY Total_Salary DESC
"""
)
result.show()