Corr() を使う
「相関は因果を意味しない」というよくある注意は大切です。しかし、相関はモデルで使えそうな特徴量を探し始める手がかりにもなります。 この演習では、データを初めて手探りしながら、パターンを見つける感覚をつかみます。
列名を含むリスト columns が用意されています。今回の演習では、これらの各列と 'SALESCLOSEPRICE' との相関を計算し、その最大値を見つけます。
この演習はコースの一部です
PySparkで学ぶ特徴量エンジニアリング
演習の手順
forループを使ってcolumnsを反復処理します。- 各ループ内で、現在の列と
'SALESCLOSEPRICE'の相関をcorr()メソッドで計算します。 - 観測された相関の最大値と、その列名を更新するロジックを作成します。
'SALESCLOSEPRICE'と最も相関が高い列名を出力します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Name and value of col with max corr
corr_max = 0
corr_max_col = columns[0]
# Loop to check all columns contained in list
for ____ in ____:
# Check the correlation of a pair of columns
corr_val = df.____(____, ____)
# Logic to compare corr_max with current corr_val
if ____ ____ ____:
# Update the column name and corr value
corr_max = corr_val
corr_max_col = col
print(corr_max_col)