CommencerCommencer gratuitement

Au-delà de la simple exactitude

Dans cet exercice, pour aller au-delà de l’accuracy, vous allez évaluer l’AUC de la courbe ROC pour un modèle d’arbre de décision basique. Gardez en tête que la référence pour un classificateur aléatoire est une AUC de 0,5 ; vous chercherez donc à obtenir un score supérieur à 0,5.

X est disponible en tant que DataFrame de caractéristiques, et y en tant que DataFrame des valeurs cibles. sklearn et pandas sous pd sont également disponibles dans votre environnement de travail.

Nous allons utiliser cette configuration pour examiner l’AUC de notre courbe ROC.

Cet exercice fait partie du cours

Prédire le CTR avec le Machine Learning en Python

Afficher le cours

Instructions

  • Séparez les données en jeux d’entraînement et de test.
  • Ajustez le classificateur sur les données d’entraînement, puis générez des prédictions sur le jeu de test avec predict_proba() et predict().
  • Évaluez l’AUC sous la courbe ROC à l’aide de la fonction roc_curve() sur y_test via roc_curve(y_test, y_score[:, 1]).

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Training and testing
X_train, X_test, y_train, y_test = \
	____(X, y, test_size = .2, random_state = 0)

# Create decision tree classifier
clf = DecisionTreeClassifier()

# Train classifier - predict probability score and label
y_score = clf.fit(____, ____).predict_proba(____) 
y_pred = clf.fit(____, ____).predict(____) 

# Get ROC curve metrics
fpr, tpr, thresholds = ____(____, y_score[:, 1])
roc_auc = auc(fpr, tpr)
print(roc_auc)
Modifier et exécuter le code