Poza samą dokładnością
W tym ćwiczeniu wyjdziesz poza samą dokładność i obliczysz AUC krzywej ROC dla podstawowego modelu drzewa decyzyjnego. Pamiętaj, że punkt odniesienia dla losowego klasyfikatora to AUC równe 0,5 – zależy nam na uzyskaniu wyniku wyższego niż 0,5.
X jest dostępny jako DataFrame z cechami, a y jako DataFrame z wartościami docelowymi. W środowisku dostępne są również biblioteki sklearn oraz pandas jako pd.
Tego zestawu użyjemy do analizy AUC naszej krzywej ROC.
To ćwiczenie jest częścią kursu
Przewidywanie CTR z użyciem uczenia maszynowego w Pythonie
Instrukcje do ćwiczenia
- Podziel dane na zbiór treningowy i testowy.
- Dopasuj klasyfikator na danych treningowych, a następnie wygeneruj prognozy dla danych testowych za pomocą
predict_proba()ipredict(). - Oblicz AUC pod krzywą ROC, używając funkcji
roc_curve()nay_testw postaciroc_curve(y_test, y_score[:, 1]).
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Training and testing
X_train, X_test, y_train, y_test = \
____(X, y, test_size = .2, random_state = 0)
# Create decision tree classifier
clf = DecisionTreeClassifier()
# Train classifier - predict probability score and label
y_score = clf.fit(____, ____).predict_proba(____)
y_pred = clf.fit(____, ____).predict(____)
# Get ROC curve metrics
fpr, tpr, thresholds = ____(____, y_score[:, 1])
roc_auc = auc(fpr, tpr)
print(roc_auc)