複合彙總
為了讓你熟悉更多內建的彙總方法,接下來要做一個稍微複雜一點的彙總!目標是把所有指令合併為同一行。
請記得,名為 spark 的 SparkSession 已經在你的工作空間中,同時還有 Spark DataFrame salaries_df。
本練習屬於課程
PySpark 入門
練習說明
- 使用
"salary_in_usd"欄位計算美國大型公司的平均薪資。 - 計算美國大型公司的薪資總和。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Average salaries at large us companies
large_companies=salaries_df.filter(salaries_df.company_size == "L").filter(salaries_df.company_location == "US").groupBy().____
#set a large companies variable for other analytics
large_companies=salaries_df.filter(salaries_df.company_size == "L").filter(salaries_df.company_location == "US")
# Total salaries in usd
large_companies.groupBy().____.show()