始める無料で始める

学習用・テスト用への変換（II）

同じスケーラーを学習用データとテストデータの両方に適用するのと同様に、もし学習用データから外れ値を除去した場合は、テストデータにも同じ処理を行う必要があります。ここでも、テストデータの外れ値除去には、必ず「学習用データのみから計算したしきい値」を用いるようにしてください。

前の演習と同様に、so_numeric_df DataFrame を学習用（so_train_numeric）とテスト用（so_test_numeric）に分割しています。

この演習はコースの一部です

Python で学ぶ Machine Learning のための特徴量エンジニアリング

コースを見る

演習の手順

  • ConvertedSalary 列の標準偏差と平均を計算します。
  • 平均から上下それぞれ3標準偏差離れた位置を上下限として計算します。
  • ConvertedSalary が下限以上かつ上限以下である行のみを残すように、so_test_numeric DataFrame を切り詰めます。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

train_std = so_train_numeric['ConvertedSalary'].____
train_mean = so_train_numeric['ConvertedSalary'].____

cut_off = train_std * 3
train_lower, train_upper = ____, train_mean + cut_off

# Trim the test DataFrame
trimmed_df = so_test_numeric[(so_test_numeric['ConvertedSalary'] < ____) \
                             & (so_test_numeric['ConvertedSalary'] > ____)]
コードを編集して実行