差异
让我们用现有特征来生成新特征。在美国中西部,许多独栋住宅周围都有额外的绿地。在这个示例中,您将创建一个名为 'YARD_SIZE' 的新特征,然后检查该新特征与我们的结果变量是否相关。
本练习是课程的一部分
使用 PySpark 进行特征工程
练习说明
- 使用
withColumn()创建一个名为LOT_SIZE_SQFT的新列,通过乘以换算系数acres_to_sqfeet将ACRES转换为平方英尺。 - 再创建一个名为
YARD_SIZE的新列,用LOT_SIZE_SQFT减去FOUNDATIONSIZE。 - 对自变量
YARD_SIZE、FOUNDATIONSIZE、LOT_SIZE_SQFT分别与因变量SALESCLOSEPRICE运行corr()。新特征的相关性是否比其任一组成部分更强?
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Lot size in square feet
acres_to_sqfeet = 43560
df = df.____(____, df[____] * ____)
# Create new column YARD_SIZE
df = df.____(____, df[____] - df[____])
# Corr of ACRES vs SALESCLOSEPRICE
print("Corr of ACRES vs SALESCLOSEPRICE: " + str(df.____(____, ____)))
# Corr of FOUNDATIONSIZE vs SALESCLOSEPRICE
print("Corr of FOUNDATIONSIZE vs SALESCLOSEPRICE: " + str(df.____(____, ____)))
# Corr of YARD_SIZE vs SALESCLOSEPRICE
print("Corr of YARD_SIZE vs SALESCLOSEPRICE: " + str(df.____(____, ____)))