1. 学ぶ
  2. /
  3. コース
  4. /
  5. PySpark入門

Connected

演習

DataFrame に対する SQL での分析

SQL クエリは、DataFrame の操作に比べて簡潔で実行しやすいです。ただし、DataFrame に SQL クエリを適用するには、まずその DataFrame をテーブルとして一時ビューに登録し、作成したテーブルに対して SQL クエリを実行する必要があります。

ワークスペースには、SparkContext の spark と salaries_df がすでに用意されています。

指示

100 XP
  • salaries_df から一時テーブル "salaries_table" を作成します。
  • company_location がカナダ("CA")の行から、列 "job_title" を抽出するクエリを作成します。
  • その SQL クエリを適用して、新しい DataFrame canada_titles を作成します。
  • テーブルのサマリーを取得します。