Rappel des mesures de performance

Vous vous souvenez du jeu de données de crédit? Avec tout ce que vous savez maintenant sur les mesures, revoyons la performance d'une forêt aléatoire sur cet ensemble. Vous avez déjà entraîné votre classifieur et obtenu votre matrice de confusion sur les données de test. Les données de test et les résultats sont disponibles sous forme de tp, fp, fn et tn, pour les vrais positifs, faux positifs, faux négatifs et vrais négatifs, respectivement. Vous avez aussi les étiquettes de référence pour les données de test, y_test, ainsi que les étiquettes prédites, preds. Les fonctions f1_score() et precision_score() ont également été importées.

Cette activité fait partie du cours

Concevoir des flux de travail Machine Learning en Python

Voir le cours

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

print(____(____, preds))

Modifier et exécuter le code

Cette activité fait partie du cours

Concevoir des flux de travail Machine Learning en Python

SkillTag.level.advancedSkillTag.label

4.8+

95 reviews

Commencer le cours gratuitement

Dans ce chapitre, vous reverrez les notions de base d'un flux de travail d'apprentissage supervisé, incluant l'ajustement, l'optimisation et la sélection de modèles, l'ingénierie et la sélection des caractéristiques, ainsi que les techniques de partitionnement des données. Vous comprendrez comment ces étapes d'un flux de travail dépendent les unes des autres et verrez comment elles peuvent toutes contribuer à combattre, ou au contraire favoriser, le surapprentissage : le pire ennemi de la personne analyste de données. À la fin du chapitre, vous serez déjà à l'aise avec l'apprentissage supervisé et prêt à plonger dans des contenus plus avancés dans les chapitres suivants.

Exercise 1: Pipelines d'apprentissage supervisé Exercise 2: Ingénierie des caractéristiques Exercise 3: Votre première pipeline Exercise 4: Complexité du modèle et surapprentissage Exercise 5: Validation croisée par recherche sur grille pour la complexité du modèle Exercise 6: Nombre d'arbres et estimateurs Exercise 7: Ingénierie des caractéristiques et surapprentissage Exercise 8: Encodages catégoriels Exercise 9: Transformations de caractéristiques Exercise 10: Mettre le tout ensemble

Au chapitre précédent, vous avez perfectionné votre compréhension des flux de travail standard en apprentissage supervisé. Dans ce chapitre, vous examinerez de façon critique les façons d'intégrer l'expertise d'un spécialiste dans l'apprentissage supervisé. Cela passe par l'identification de la bonne unité d'analyse, ce qui peut nécessiter de l'ingénierie de caractéristiques à partir de multiples sources de données, par le processus parfois imparfait d'étiquetage des exemples, et par la définition d'une fonction de perte qui reflète la véritable valeur d'affaires des erreurs commises par votre modèle de Machine Learning.

Exercise 1: Fusion de données Exercise 2: La source ou la destination est-elle en cause?Exercise 3: Ingénierie des caractéristiques sur des données groupées Exercise 4: Étiquettes imparfaites Exercise 5: Transformer une heuristique en classifieur Exercise 6: Combiner des heuristiques Exercise 7: Gérer le bruit dans les étiquettes Exercise 8: Fonctions de perte, partie I Exercise 9: Rappel des mesures de performance

Exercice en cours

Exercise 10: Analyse des coûts en situation réelle Exercise 11: Calculs avec la matrice de confusion Exercise 12: Fonctions de perte, partie II Exercise 13: Seuil par défaut Exercise 14: Optimiser le seuil Exercise 15: Mettre le tout ensemble

Dans le chapitre précédent, vous avez intégré différentes formes de rétroaction d'experts à votre flux de travail et l'avez évaluée en fonction de la valeur d'affaires. Il est maintenant temps de mettre en pratique les compétences nécessaires pour industrialiser votre modèle et assurer qu'il continue de bien performer par la suite grâce à des améliorations itératives. Vous apprendrez aussi à diagnostiquer le décalage de jeu de données (dataset shift) et à atténuer l'effet qu'un environnement changeant peut avoir sur la justesse de votre modèle.

Exercise 1: Des flux de travail aux pipelines Exercise 2: Votre première pipeline — encore une fois!Exercise 3: Évaluateurs personnalisés dans les pipelines Exercise 4: Déploiement du modèle Exercise 5: Fichiers pickle Exercise 6: Transformateurs de fonctions personnalisées dans les pipelines Exercise 7: Itérer sans surajustement Exercise 8: Mettre le champion au défi Exercise 9: Statistiques de validation croisée Exercise 10: Décalage de jeu de données Exercise 11: Ajuster la taille de la fenêtre Exercise 12: Tout rassembler

Dans les chapitres précédents, vous avez établi de solides bases en apprentissage supervisé, y compris la mise en production de modèles, tout en supposant qu'un jeu de données étiqueté serait disponible pour votre analyse. Dans ce chapitre, vous relevez le défi de modéliser des données sans étiquettes, ou avec très peu d'étiquettes. Vous explorerez la détection d'anomalies, une forme de modélisation non supervisée, ainsi que l'apprentissage fondé sur la distance, où des hypothèses sur la similarité entre deux exemples peuvent remplacer les étiquettes pour atteindre une précision comparable à celle d'un flux de travail supervisé. À la fin de ce chapitre, vous vous démarquerez clairement en sachant avec assurance quels outils utiliser pour adapter votre flux de travail et surmonter des défis courants du monde réel.

Exercise 1: Détection d'anomalies Exercise 2: Un simple cas aberrant Exercise 3: Contamination LoF Exercise 4: Détection de nouveauté Exercise 5: Une nouveauté simple Exercise 6: Trois détecteurs de nouveauté Exercise 7: Retour sur la contamination Exercise 8: Apprentissage basé sur la distance Exercise 9: Trouver le voisin Exercise 10: Les métriques ne s'entendent pas toutes Exercise 11: Données non structurées Exercise 12: Levenshtein restreint Exercise 13: Mettre le tout ensemble Exercise 14: Remarques de conclusion