不只看準確率
在這個練習中，為了不要只看準確率，你會以基本的決策樹模型來評估 ROC 曲線的 AUC。請記得，隨機分類器的基準比較是 AUC 為 0.5，所以你要力求高於 0.5。
X 為包含特徵的 DataFrame，y 為包含目標值的 DataFrame。sklearn 與 pandas（作為 pd）也已在你的工作環境中可用。
我們會用這個設定來觀察 ROC 曲線的 AUC。
本練習屬於課程
用 Python 透過機器學習預測 CTR
練習說明
- 將資料分成訓練集與測試集。
- 使用訓練資料擬合分類器，並用
predict_proba()與predict()對測試資料進行預測。 - 透過對
y_test呼叫roc_curve(y_test, y_score[:, 1])的roc_curve()函式，評估 ROC 曲線下的 AUC。
動手互動練習
試著完成這個範例程式碼，體驗一下這個練習。
# Training and testing
X_train, X_test, y_train, y_test = \
____(X, y, test_size = .2, random_state = 0)
# Create decision tree classifier
clf = DecisionTreeClassifier()
# Train classifier - predict probability score and label
y_score = clf.fit(____, ____).predict_proba(____)
y_pred = clf.fit(____, ____).predict(____)
# Get ROC curve metrics
fpr, tpr, thresholds = ____(____, y_score[:, 1])
roc_auc = auc(fpr, tpr)
print(roc_auc)