Concevoir un pipeline DVC

Concevoir un pipeline DVC, ou DAG, est essentiel pour tirer parti de DVC dans vos workflows de Machine Learning. Les DAGs permettent de formaliser les entrées, les sorties et l’exécution d’une étape donnée. Les sorties d’une étape peuvent servir d’entrées à une ou plusieurs autres étapes, ce qui établit naturellement les bonnes dépendances entre étapes.

Dans cet exercice, vous allez concevoir un workflow de ML qui comporte quatre étapes :

Prétraitement des données (preprocess_stage)
Découpage des données (split_stage)
Entraînement du modèle (train_stage)
Évaluation du modèle (evaluate_stage)

Nous allons exclusivement utiliser les commandes dvc stage add. Faites défiler jusqu’à la fin du script shell (dvc_dag_stages_add.sh) si nécessaire.

Cet exercice fait partie du cours

<cours>Introduction au versionnage des données avec DVC</cours>

Exercice interactif pratique

Transformez la théorie en action avec l’un de nos exercices interactifs

Commencer l’exercice

Cet exercice fait partie du cours

<cours>Introduction au versionnage des données avec DVC</cours>

IntermédiaireNiveau de compétence

4.8+

Commencer le cours gratuitement

Ce chapitre propose une introduction complète à Data Version Control (DVC), un outil essentiel pour le versionnage des données en Machine Learning. Vous explorerez les motivations du versionnage des données, comprendrez ses différences avec le versionnage du code et expérimenterez un simple problème de classification. Vous reverrez des commandes Git de base, découvrirez DVC et vous entraînerez à configurer un dépôt. Le chapitre se termine par un panorama des fonctionnalités et cas d’usage de DVC, notamment le versionnage des données et des modèles, la CI/CD pour le Machine Learning, le suivi d’expériences, les pipelines, et plus encore.

Exercise 1: Pourquoi versionner les données Exercise 2: Anatomie d’un modèle de Machine Learning Exercise 3: Différences entre le versionnage des données et du code Exercise 4: Comprendre les hyperparamètres Exercise 5: Introduction à DVC Exercise 6: Travailler avec l’interface en ligne de commande de Git Exercise 7: Révision de la CLI DVC Exercise 8: Fonctionnalités et cas d’usage de DVC Exercise 9: Pipelines DVC Exercise 10: CI/CD pour le Machine Learning

Ce chapitre aborde la mise en place de DVC, incluant l’installation, l’initialisation du dépôt et l’utilisation du fichier .dvcignore. Il explore ensuite le cache DVC et les fichiers de staging, en vous apprenant à ajouter et supprimer des fichiers, gérer les caches et comprendre les mécanismes sous-jacents via le hachage MD5. Le chapitre clarifie également les remotes DVC, en les distinguant des remotes Git, et vous guide pour les ajouter, les lister et les modifier. Enfin, vous apprendrez à interagir avec ces remotes en poussant et récupérant des données, en basculant vers des versions spécifiques et en rapatriant des données dans le cache.

Exercise 1: Configuration et initialisation de DVC Exercise 2: Configurer DVC Exercise 3: .dvcignore : modèles Exercise 4: Cache DVC et fichiers en attente Exercise 5: Travailler avec le cache DVC Exercise 6: Comprendre les fichiers .dvc Exercise 7: Configurer les remotes DVC Exercise 8: Objectif des remotes DVC Exercise 9: Configurer un remote DVC Exercise 10: Interagir avec les remotes DVC Exercise 11: Gérer les versions des données avec un remote DVC Exercise 12: Basculer entre des versions de données

Ce chapitre se concentre sur l’automatisation des pipelines de ML avec DVC. Vous créez un fichier de configuration contenant des paramètres et des hyperparamètres. Vous apprenez aussi à visualiser un pipeline à l’aide de graphes acycliques orientés et utilisez des commandes pour décrire les dépendances, les commandes et les résultats. L’exécution des pipelines DVC est couverte, y compris l’entraînement local de modèles et la façon dont Git suit les métadonnées DVC. Enfin, vous explorez le suivi des métriques et des graphiques dans DVC, notamment comment afficher les métriques, créer des fichiers de graphiques et comparer métriques et graphiques entre différentes étapes du pipeline.

Exercise 1: Organisation du code et refactorisation Exercise 2: Comprendre les fichiers de paramètres dans DVC Exercise 3: Écrire un fichier de paramètres Exercise 4: Écrire et visualiser des pipelines DVC Exercise 5: Concevoir un pipeline DVC

Exercice actuel

Exercise 6: Visualiser un pipeline DVC Exercise 7: Exécuter des pipelines DVC Exercise 8: Concepts d’exécution des pipelines DVC Exercise 9: Exécuter un pipeline d’entraînement de modèle de Machine Learning Exercise 10: Évaluation : métriques et graphiques dans DVC Exercise 11: Suivi des métriques DVC Exercise 12: Ajouter des graphiques à dvc.yaml Exercise 13: Félicitations !