Créer un workflow multi-étapes : évaluation du modèle

Dans cet exercice, vous allez créer l’étape d’évaluation du modèle de notre workflow multi-étapes, qui sert à gérer une partie du cycle de vie du ML. Vous utiliserez la méthode run() du module MLflow Projects et définirez le point d’entrée sur model_evaluation. Vous prendrez ensuite model_engineering_run_id comme paramètre, généré comme sortie dans l’exercice précédent, et vous le transmettrez à la commande.

Le fichier MLproject créé à l’étape précédente est disponible dans l’IPython Shell via print(MLproject).

Le module mlflow est importé.

Cet exercice fait partie du cours

Introduction à MLflow

Afficher le cours

Instructions

Assignez la méthode run() du module MLflow Projects à model_evaluation.
Définissez l’argument du point d’entrée sur "model_evaluation".
Définissez un paramètre appelé "run_id" avec la valeur model_engineering_run_id.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Set the MLflow Projects run method
model_evaluation = ____.____.____(
    uri="./",
    # Set the entry point to model_evaluation
    ____="____",
  	# Set the parameter run_id to the run_id output of previous step
    parameters={
        "____": ____,
    },
    env_manager="local"
)

print(model_evaluation.get_status())

Modifier et exécuter le code

Cet exercice fait partie du cours

Introduction à MLflow

AvancéNiveau de compétence

4.8+

Commencer le cours gratuitement

Dans ce chapitre, vous serez initié à MLflow et à la manière dont il aide à résoudre certaines difficultés du cycle de vie du Machine Learning. Vous découvrirez les quatre concepts principaux qui composent MLflow, avec un accent particulier sur MLflow Tracking. Vous apprendrez à créer des expériences et des exécutions, ainsi qu’à suivre des métriques, des paramètres et des artefacts. Enfin, vous effectuerez des recherches dans MLflow par programmation pour trouver les exécutions d’expériences répondant à certains critères.

Exercise 1: Qu’est-ce que MLflow ?Exercise 2: Composants de MLflow Exercise 3: Expériences MLflow Exercise 4: MLflow Tracking Exercise 5: Démarrer une exécution Exercise 6: Journaliser une exécution Exercise 7: Comment récupérer les données de l’exécution active ?Exercise 8: Interroger des exécutions Exercise 9: Options de requête pour la recherche de runs Exercise 10: Rechercher des runs

Dans ce chapitre, vous serez initié aux Modèles MLflow. Le composant MLflow Models joue un rôle essentiel dans les étapes d’évaluation et d’ingénierie des modèles du cycle de vie du Machine Learning. Vous apprendrez comment MLflow Models standardise le packaging des modèles ML, ainsi que comment les enregistrer, les journaliser et les charger. Vous verrez comment créer des modèles MLflow personnalisés pour offrir plus de flexibilité à vos cas d’usage et comment évaluer les performances des modèles. Vous exploiterez le puissant concept de « Flavors » et utiliserez enfin l’outil en ligne de commande MLflow pour le déploiement de modèles.

Exercise 1: Introduction aux modèles MLflow Exercise 2: Emballer un modèle de Machine Learning Exercise 3: Format de stockage Exercise 4: Que contient un fichier MLmodel ?Exercise 5: API de modèle Exercise 6: Enregistrer et charger un modèle Exercise 7: Enregistrer et charger un modèle Exercise 8: Modèles personnalisés Exercise 9: Créer une classe Python personnalisée Exercise 10: Modèle scikit-learn personnalisé Exercise 11: Flavor scikit-learn et évaluation Exercise 12: Mise en service du modèle Exercise 13: Servir un modèle Exercise 14: Obtenir un score depuis un modèle servi

Ce chapitre présente le concept d’MLflow appelé Model Registry. Vous découvrirez comment le Model Registry est utilisé pour gérer le cycle de vie des modèles ML. Vous apprendrez à créer et à rechercher des modèles dans le Model Registry. Vous verrez ensuite comment y enregistrer des modèles et comment faire passer des modèles entre des étapes prédéfinies. Enfin, vous apprendrez également à déployer des modèles depuis le Model Registry.

Exercise 1: Introduction au MLflow Model Registry Exercise 2: Créer un modèle Exercise 3: Recherche de modèles Exercise 4: Enregistrer des modèles Exercise 5: Enregistrer des modèles existants Exercise 6: Enregistrer de nouveaux modèles Exercise 7: Étapes du modèle Exercise 8: Stades de modèle dans le Model Registry Exercise 9: Faire évoluer les étapes d’un modèle Exercise 10: Déploiement de modèles Exercise 11: Servir des modèles depuis le Model Registry Exercise 12: Charger des modèles depuis le Model Registry

Dans ce chapitre, vous apprendrez à rationaliser votre code de data science pour le rendre réutilisable et reproductible grâce aux Projets MLflow. Le chapitre commence par introduire le concept de Projets MLflow et vous guide dans la création d’un fichier MLproject. Vous apprendrez ensuite à exécuter des Projets MLflow à la fois en ligne de commande et via le module MLflow Projects, tout en découvrant la puissance des paramètres pour gagner en flexibilité dans votre code. Enfin, vous verrez comment gérer les étapes du cycle de vie du Machine Learning en créant un workflow multi-étapes avec les Projets MLflow.

Exercise 1: Introduction aux MLflow Projects Exercise 2: Structure d’un fichier MLproject Exercise 3: Créer un MLproject Exercise 4: Exécuter des projets MLflow Exercise 5: Commande mlflow run Exercise 6: Module MLflow projects Exercise 7: Spécifier des paramètres Exercise 8: Ajouter des paramètres à MLproject Exercise 9: Ajouter des paramètres à l’exécution du projet Exercise 10: Flux de travail Exercise 11: Créer un MLproject pour le cycle de vie ML : ingénierie du modèle Exercise 12: Créer un MLproject pour le cycle de vie ML : évaluation du modèle Exercise 13: Créer un workflow multi-étapes : Model Engineering Exercise 14: Créer un workflow multi-étapes : évaluation du modèle

Exercice en cours

Exercise 15: Récapitulatif