Víc než jen přesnost
V tomto cvičení se podíváš za hranice pouhé přesnosti a vyhodnotíš AUC křivky ROC pro základní model rozhodovacího stromu. Pamatuj, že základní hodnota pro náhodný klasifikátor je AUC 0,5 – tvým cílem je dosáhnout vyššího skóre.
X je k dispozici jako DataFrame s příznaky a y jako DataFrame s cílovými hodnotami. V pracovním prostředí máš také k dispozici sklearn a pandas jako pd.
Toto nastavení použijeme k prozkoumání AUC naší křivky ROC.
Toto cvičení je součástí kurzu
Předpovídání CTR pomocí Machine Learning v Pythonu
Pokyny k cvičení
- Rozděl data na trénovací a testovací sady.
- Natrénuj klasifikátor na trénovacích datech a proveď predikce pro testovací data pomocí
predict_proba()apredict(). - Vyhodnoť AUC pod křivkou ROC pomocí funkce
roc_curve()nay_testve tvaruroc_curve(y_test, y_score[:, 1]).
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Training and testing
X_train, X_test, y_train, y_test = \
____(X, y, test_size = .2, random_state = 0)
# Create decision tree classifier
clf = DecisionTreeClassifier()
# Train classifier - predict probability score and label
y_score = clf.fit(____, ____).predict_proba(____)
y_pred = clf.fit(____, ____).predict(____)
# Get ROC curve metrics
fpr, tpr, thresholds = ____(____, y_score[:, 1])
roc_auc = auc(fpr, tpr)
print(roc_auc)