ROC AUC
前の演習でプロットした ROC 曲線は良好な結果を示していました。
次は、ROC 曲線下面積を計算し、これまでに使用した他の分類指標も合わせて確認しましょう。
confusion_matrix と classification_report 関数はあらかじめ読み込まれています。また、以前に構築した logreg モデル、X_train、X_test、y_train、y_test も利用可能です。モデルによるテストセットの予測ラベルは y_pred に、テストセットの各観測値が正クラスに属する確率は y_pred_probs に格納されています。
knn モデルも作成済みで、パフォーマンス指標がコンソールに表示されています。2 つのモデルの roc_auc_score、confusion_matrix、classification_report を比較してみましょう。
この演習はコースの一部です
scikit-learn による教師あり学習
演習の手順
roc_auc_scoreをインポートします。- テストラベルと正クラスの予測確率を渡して、ROC AUC スコアを算出して表示します。
- 混同行列を計算し、結果を表示します。
classification_report()を呼び出します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Import roc_auc_score
____
# Calculate roc_auc_score
print(____(____, ____))
# Calculate the confusion matrix
print(____(____, ____))
# Calculate the classification report
print(____(____, ____))