在 DataFrame 上用 SQL 做分析
相較於直接操作 DataFrame，SQL 查詢更精簡、也更容易執行。不過，要在 DataFrame 上使用 SQL 查詢，必須先把它註冊成為一個暫存檢視（視為資料表），然後再對該資料表執行 SQL 查詢。
你的工作空間中已經有 SparkContext spark 和 salaries_df 可以使用。
本練習屬於課程
PySpark 入門
練習說明
- 由
salaries_dfDataFrame 建立暫存資料表"salaries_table"。 - 撰寫查詢，從
company_location為加拿大（"CA"）的資料中擷取「job_title」欄位。 - 套用該 SQL 查詢並建立新的 DataFrame
canada_titles。 - 產生此資料表的摘要。
動手互動練習
試著完成這個範例程式碼，體驗一下這個練習。
# Create a temporary view of salaries_table
salaries_df.____('salaries_table')
# Construct the "query"
query = '''SELECT job_title, salary_in_usd FROM ____ WHERE company_location == "CA"'''
# Apply the SQL "query"
canada_titles = spark.____(____)
# Generate basic statistics
canada_titles.____().show()