Concevoir un pipeline DVC

Concevoir un pipeline DVC, ou un DAG, est essentiel pour tirer parti de DVC dans vos flux de travail de Machine Learning. Les DAG permettent de coder les intrants, les extrants et l'exécution d'une étape donnée. Les extrants d'une étape peuvent servir d'intrants à une ou plusieurs étapes, ce qui établit naturellement les bonnes dépendances entre les étapes.

Dans cet exercice, vous allez concevoir un flux de travail ML qui comprend quatre étapes :

Prétraitement des données (preprocess_stage)
Découpage des données (split_stage)
Entraînement du modèle (train_stage)
Évaluation du modèle (evaluate_stage)

Nous allons travailler exclusivement avec les commandes dvc stage add. Faites défiler jusqu'à la fin du fichier de script shell (dvc_dag_stages_add.sh) au besoin.

Cette activité fait partie du cours

Introduction au contrôle de versions des données avec DVC

Exercice interactif pratique

Passez de la théorie à l’action grâce à l’un de nos exercices interactifs

Commencer l’exercice

Cette activité fait partie du cours

Introduction au contrôle de versions des données avec DVC

SkillTag.level.intermediateSkillTag.label

4.8+

Commencer le cours gratuitement

Ce chapitre propose une introduction complète à Data Version Control (DVC), un outil essentiel pour le versionnage des données en Machine Learning. Vous verrez pourquoi le versionnage des données est important, en quoi il se distingue du versionnage du code, et vous expérimenterez avec un simple problème de classification. Vous reverrez les commandes de base de Git, ferez connaissance avec DVC et pratiquerez la création d'un dépôt. Le chapitre se termine par un survol des fonctionnalités et cas d'usage de DVC, incluant le versionnage des données et des modèles, la CI/CD pour le Machine Learning, le suivi d'expériences, les pipelines et plus encore.

Exercise 1: Pourquoi versionner les données Exercise 2: Anatomie d'un modèle de Machine Learning Exercise 3: Différences entre la gestion de versions des données et du code Exercise 4: Comprendre les hyperparamètres Exercise 5: Introduction à DVC Exercise 6: Travailler avec l'interface CLI de Git Exercise 7: Révision de l'interface en ligne de commande DVC Exercise 8: Fonctionnalités et cas d'utilisation de DVC Exercise 9: Pipelines DVC Exercise 10: CI/CD pour le machine learning

Ce chapitre approfondit la mise en place de DVC, notamment l'installation, l'initialisation du dépôt et l'utilisation du fichier .dvcignore. On y explore aussi l'antémémoire (cache) de DVC et les fichiers d'indexation (staging), pour vous apprendre à ajouter et supprimer des fichiers, gérer l'antémémoire et comprendre les mécanismes sous-jacents avec le hachage MD5. Le chapitre explique également les dépôts distants (remotes) de DVC, en les distinguant des remotes Git, et vous guide pour les ajouter, les lister et les modifier. Enfin, vous apprendrez à interagir avec ces remotes en poussant et en tirant des données, en extrayant des versions précises et en récupérant les données dans l'antémémoire.

Exercise 1: Configuration et initialisation de DVC Exercise 2: Configuration de DVC Exercise 3: Motifs .dvcignore Exercise 4: Cache DVC et fichiers en préparation Exercise 5: Travailler avec la cache de DVC Exercise 6: Comprendre les fichiers .dvc Exercise 7: Configurer les dépôts distants DVC Exercise 8: Rôle des dépôts distants DVC Exercise 9: Configurer un dépôt distant DVC Exercise 10: Interagir avec les dépôts distants DVC Exercise 11: Gérer les versions des données avec un DVC Remote Exercise 12: Extraction de données versionnées

Ce chapitre porte sur l'automatisation des pipelines de ML avec DVC. Vous créerez un fichier de configuration contenant des paramètres et des hyperparamètres. Vous apprendrez aussi à visualiser les pipelines à l'aide de graphes acycliques dirigés et à utiliser des commandes pour décrire les dépendances, les commandes et les résultats. L'exécution des pipelines DVC est couverte, y compris l'entraînement de modèles en local et la façon dont Git suit les métadonnées de DVC. Enfin, vous explorerez le suivi des mesures et des graphiques dans DVC, notamment comment afficher les mesures, créer des fichiers de graphiques et comparer mesures et graphiques entre différentes étapes du pipeline.

Exercise 1: Organisation du code et remaniement Exercise 2: Comprendre les fichiers de paramètres dans DVC Exercise 3: Rédiger un fichier de paramètres Exercise 4: Rédaction et visualisation de pipelines DVC Exercise 5: Concevoir un pipeline DVC

Exercice en cours

Exercise 6: Visualiser un pipeline DVC Exercise 7: Exécuter des pipelines DVC Exercise 8: Concepts d'exécution d'un pipeline DVC Exercise 9: Exécuter un pipeline d'entraînement de modèle ML Exercise 10: Évaluation : mesures et graphiques dans DVC Exercise 11: Suivi des métriques DVC Exercise 12: Ajouter des graphiques à dvc.yaml Exercise 13: Félicitations !