自訂百分比縮放
在投影片中我們示範了如何把資料縮放到 0 到 1。實務上,為了建模或視覺化,你有時會想用不同的縮放方式。
本練習屬於課程
使用 PySpark 進行特徵工程
練習說明
- 計算
DAYSONMARKET的最大值與最小值,分別存入變數max_days和min_days,別忘了在agg()之後使用collect()。 - 使用
withColumn()基於DAYSONMARKET建立名為 'percentagescaleddays' 的新欄位。 percentage_scaled_days應該是介於 0 到 100 的整數欄位,使用round()取得整數。- 列印新欄位
percentage_scaled_days的max()與min()。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Define max and min values and collect them
max_days = df.____({____: ____}).____()[0][0]
min_days = df.____({____: ____}).____()[0][0]
# Create a new column based off the scaled data
df = df.____(____,
____((df[____] - min_days) / (max_days - min_days)) * ____)
# Calc max and min for new column
print(df.____({____: ____}).____())
print(df.____({____: ____}).____())