DataFrame に対する SQL を使った分析
SQL クエリは、DataFrame の操作と比べて簡潔で実行しやすいという利点があります。ただし、DataFrame に対して SQL クエリを適用するには、まず DataFrame を一時ビューとしてテーブルに登録し、そのテーブルに対してクエリを実行する必要があります。
ワークスペースには、SparkContext spark と salaries_df がすでに用意されています。
この演習はコースの一部です
PySpark 入門
演習の手順
"salaries_table"DataFrame から一時テーブルsalaries_dfを作成してください。- カナダ（
company_location）の"CA"から「職種_名」列を抽出するクエリを作成してください。 - SQL クエリを適用して、新しい DataFrame
canada_titlesを作成してください。 - テーブルの概要を取得してください。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Create a temporary view of salaries_table
salaries_df.____('salaries_table')
# Construct the "query"
query = '''SELECT job_title, salary_in_usd FROM ____ WHERE company_location == "CA"'''
# Apply the SQL "query"
canada_titles = spark.____(____)
# Generate basic statistics
canada_titles.____().show()