推斷並篩選
想像你手上有一個人口普查資料集,且你知道它包含標頭與綱要。讓我們載入這個資料集,並讓 PySpark 自動推斷綱要。當你篩選出年齡超過 40 歲的成人時,會看到什麼結果?
記住,你的工作區中已經有一個名為 spark 的 SparkSession!
本練習屬於課程
PySpark 入門
練習說明
- 載入 JSON 檔
adults.json。 - 將資料篩選為僅包含
age大於40的成人。 - 顯示結果。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Load the dataframe
census_df = spark.read.json("adults.json")
# Filter rows based on age condition
salary_filtered_census = census_df.____(census_df[____]____)
# Show the result
____