Score F-bêta
Le score F-bêta est une moyenne harmonique pondérée entre la précision et le rappel, utilisée pour les pondérer différemment. Il est probable que l'on souhaite davantage pondérer la précision que le rappel, ce qui peut se faire avec une valeur de beta plus faible, entre 0 et 1. Dans cet exercice, vous allez calculer la précision et le rappel d'un classifieur MLP, ainsi que le score F-bêta avec beta = 0.5.
X_train, y_train, X_test, y_test sont disponibles dans votre espace de travail, et les variables ont déjà été standardisées. pandas sous l'alias pd et sklearn sont également disponibles. fbeta_score() de sklearn.metrics est aussi à votre disposition.
Cet exercice fait partie du cours
Prédire le CTR avec le Machine Learning en Python
Instructions
- Scindez les données en ensembles d'entraînement et de test.
- Définissez un classifieur MLP, entraînez-le avec
.fit()et prédisez avec.predict(). - Utilisez les implémentations de
sklearnpour obtenir les scores de précision, de rappel et les scores F-bêta.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Set up MLP classifier, train and predict
X_train, X_test, y_train, y_test = ____(
____, ____, test_size = .2, random_state = 0)
clf = ____(hidden_layer_sizes = (16, ),
max_iter = 10, random_state = 0)
y_pred = clf.____(____, _____).____(X_test)
# Evaluate precision and recall
prec = ____(y_test, ____, average = 'weighted')
recall = ____(y_test, ____, average = 'weighted')
fbeta = ____(y_test, ____, ____ = 0.5, average = 'weighted')
print("Precision: %s, Recall: %s, F-beta score: %s" %(prec, recall, fbeta))