2つのホールドアウト集合を作る
あなたは上司のために三目並べ(Tic-Tac-Toe)の勝敗を予測するシンプルなランダムフォレストモデルを作成しました。上司の依頼でパラメータチューニングは行いませんでしたが、残念ながらモデル全体の精度は彼女の基準に達しませんでした。今回はモデルの性能向上に注力するよう依頼されています。
異なるモデルやパラメータセットを試す前に、データを学習、検証、テストの各データセットに分割する必要があります。学習用とテスト用に分割した後、検証用データセットは学習用データセットをさらに分割して作成することを思い出してください。
データセット X と y はすでに読み込まれています。
この演習はコースの一部です
Python によるモデル検証
演習の手順
- 一時データセットとテストデータセット(
X_test,y_test)を作成します。テストデータセットには全体データの20%を使用してください。 - 一時データセット(
X_temp,y_temp)を使って、学習用(X_train,y_train)と検証用(X_val,y_val)のデータセットを作成します。 - 検証用データセットには、一時データの25%を使用してください。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Create temporary training and final testing datasets
X_temp, ____, y_temp, ____ =\
train_test_split(X, y, ____=____, random_state=1111)
# Create the final training and validation datasets
____, ____, ____, ____ =\
train_test_split(X_temp, y_temp, ____=____, random_state=1111)