自定义百分比缩放
在幻灯片中,我们演示了如何把数据缩放到 0 到 1 之间。有时为了建模或展示,您可能希望采用不同的缩放方式。
本练习是课程的一部分
使用 PySpark 进行特征工程
练习说明
- 计算
DAYSONMARKET的最大值和最小值,并分别存入变量max_days和min_days,别忘了在agg()之后使用collect()。 - 使用
withColumn()基于DAYSONMARKET创建一个名为 'percentagescaleddays' 的新列。 percentage_scaled_days应该是取值范围为 0 到 100 的整数列,使用round()得到整数。- 打印新列
percentage_scaled_days的max()和min()。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Define max and min values and collect them
max_days = df.____({____: ____}).____()[0][0]
min_days = df.____({____: ____}).____()[0][0]
# Create a new column based off the scaled data
df = df.____(____,
____((df[____] - min_days) / (max_days - min_days)) * ____)
# Calc max and min for new column
print(df.____({____: ____}).____())
print(df.____({____: ____}).____())