一時ビューをクエリする
この演習では、PySpark で DataFrame を一時 SQL ビューとして登録する方法を練習します。一時ビューは、SQL 構文を使ってデータをクエリできる便利な機能です。複雑なデータ操作をよりシンプルに、直感的に行うことができます。提供された DataFrame からビューを作成し、SQL クエリを実行してみましょう。これは ETL や ELT 処理でよく使われる手法です。
ワークスペースには、SparkContext の spark と PySpark DataFrame の df がすでに用意されています。
この演習はコースの一部です
PySpark 入門
演習の手順
- DataFrame
"data_view"からdfという名前の新しいビューを登録してください。 - 提供された SQL クエリを実行して、役職ごとの合計給与を計算してください。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Register as a view
df.____("data_view")
# Advanced SQL query: Calculate total salary by Position
result = ____("""
SELECT Position, SUM(Salary) AS Total_Salary
FROM data_view
GROUP BY Position
ORDER BY Total_Salary DESC
"""
)
result.show()