AUC曲線を作成する

前向き逐次変数選択では、予測子集合に変数を最適な順序で追加していきます。どこで変数の追加を打ち切るかを判断するために、学習用とテスト用のAUC曲線を作成できます。これらの曲線は、モデルに最初の1個、最初の2個、最初の3個…という順に変数を入れたときの学習AUCとテストAUCをプロットします。

この演習では、これらのAUC曲線をプロットする方法を学びます。AUCを計算するメソッド auc_train_test は用意済みで、次のように使えます。

auc_train, auc_test = auc_train_test(variables, target, train, test)

ここで、variables はロジスティック回帰モデルで使用する変数集合、target は目的変数名を含むリスト、train と test はそれぞれ学習用とテスト用のベーステーブルです。

前向き逐次法で並べた変数はリスト variables に入っています。コンソールで中身を確認できます。さらに、次の3つの空リストが用意されています。

auc_values_train: 各反復におけるモデルの学習AUC値を格納します
auc_values_test: 各反復におけるモデルのテストAUC値を格納します
variables_evaluate: 各反復で評価する変数を格納します

変数を順に反復処理します。
各反復で、variables の次の変数を variables_evaluate に追加します。
各反復で、auc_train_test メソッドを使って学習AUCとテストAUCを計算します。DataFrame の train と test には、それぞれ学習データとテストデータが入っています。
各反復で、計算した値を auc_values_train と auc_values_test に追加します