差分
既存の特徴量を使って新しい特徴量を作る方法を試してみましょう。米国中西部では、一戸建て住宅の多くに緑地として使える余剰地があります。この例では、新しい特徴量 'YARD_SIZE' を作成し、その新しい特徴量が目的変数との相関を持つかどうかを確認します。
この演習はコースの一部です
PySparkで学ぶ特徴量エンジニアリング
演習の手順
withColumn()を使ってLOT_SIZE_SQFTという新しい列を作成し、ACRESを換算係数acres_to_sqfeetを掛けて平方フィートに変換します。LOT_SIZE_SQFTからFOUNDATIONSIZEを引いて、YARD_SIZEという別の新しい列を作成します。- 独立変数
YARD_SIZE、FOUNDATIONSIZE、LOT_SIZE_SQFTそれぞれについて、従属変数SALESCLOSEPRICEに対してcorr()を実行します。新しい特徴量は、その構成要素のどちらよりも強い相関を示しますか？
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Lot size in square feet
acres_to_sqfeet = 43560
df = df.____(____, df[____] * ____)
# Create new column YARD_SIZE
df = df.____(____, df[____] - df[____])
# Corr of ACRES vs SALESCLOSEPRICE
print("Corr of ACRES vs SALESCLOSEPRICE: " + str(df.____(____, ____)))
# Corr of FOUNDATIONSIZE vs SALESCLOSEPRICE
print("Corr of FOUNDATIONSIZE vs SALESCLOSEPRICE: " + str(df.____(____, ____)))
# Corr of YARD_SIZE vs SALESCLOSEPRICE
print("Corr of YARD_SIZE vs SALESCLOSEPRICE: " + str(df.____(____, ____)))