差異
來試著用既有欄位產生新特徵。在美國中西部,許多獨棟住宅周圍都有綠地空間。在這個例子中,你會建立一個名為 'YARD_SIZE' 的新特徵,接著檢查這個新特徵是否與我們的結果變數有相關性。
本練習屬於課程
使用 PySpark 進行特徵工程
練習說明
- 使用
withColumn()建立名為LOT_SIZE_SQFT的新欄位,將ACRES乘上換算係數acres_to_sqfeet以轉換為平方英尺。 - 再建立另一個名為
YARD_SIZE的新欄位,計算方式為以LOT_SIZE_SQFT減去FOUNDATIONSIZE。 - 對自變數
YARD_SIZE、FOUNDATIONSIZE、LOT_SIZE_SQFT與依變數SALESCLOSEPRICE分別執行corr()。新的特徵是否比其任一組成欄位與目標更相關?
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Lot size in square feet
acres_to_sqfeet = 43560
df = df.____(____, df[____] * ____)
# Create new column YARD_SIZE
df = df.____(____, df[____] - df[____])
# Corr of ACRES vs SALESCLOSEPRICE
print("Corr of ACRES vs SALESCLOSEPRICE: " + str(df.____(____, ____)))
# Corr of FOUNDATIONSIZE vs SALESCLOSEPRICE
print("Corr of FOUNDATIONSIZE vs SALESCLOSEPRICE: " + str(df.____(____, ____)))
# Corr of YARD_SIZE vs SALESCLOSEPRICE
print("Corr of YARD_SIZE vs SALESCLOSEPRICE: " + str(df.____(____, ____)))