Référence de base
Évaluer un classifieur par rapport à une référence de base pertinente est essentiel. C’est particulièrement vrai pour les jeux de données déséquilibrés, comme les clics sur des publicités, car on peut obtenir une forte exactitude simplement en prédisant toujours la classe majoritaire. Dans cet exercice, vous allez simuler un classifieur de base qui prédit toujours la classe majoritaire (pas de clic) et examiner sa matrice de confusion, ainsi que sa précision et son rappel.
X_train, y_train, X_test, y_test sont disponibles dans votre espace de travail. pandas sous pd, numpy sous np, et sklearn sont également disponibles dans votre espace de travail.
Cet exercice fait partie du cours
Prédire le CTR avec le Machine Learning en Python
Instructions
- Créez
y_pred, un tableau de zéros ayant la même longueur queX_testen utilisantnp.asarray(). - Affichez la matrice de confusion obtenue.
- Récupérez les scores de précision et de rappel.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Set up baseline predictions
y_pred = np.____([0 for x in range(len(X_test))])
# Look at confusion matrix
print("Confusion matrix: ")
print(____(y_test, y_pred))
# Check precision and recall
prec = ____(y_test, y_pred, average = 'weighted')
recall = ____(y_test, y_pred, average = 'weighted')
print("Precision: %s, Recall: %s" %(prec, recall))