Concepts d’exécution des pipelines DVC

Les pipelines DVC simplifient les workflows de Machine Learning, en permettant un versionnage, un suivi et une mise en cache efficaces des données et du code. Comprendre l’exécution d’un pipeline vous aide à concevoir des workflows efficaces. Dans cet exercice, vous allez vérifier votre compréhension de la manière dont DVC exécute des pipelines reproductibles.

Cet exercice fait partie du cours

<cours>Introduction au versionnage des données avec DVC</cours>

Voir le cours

Exercice interactif pratique

Transformez la théorie en action avec l’un de nos exercices interactifs

Commencer l’exercice

Cet exercice fait partie du cours

<cours>Introduction au versionnage des données avec DVC</cours>

IntermédiaireNiveau de compétence

4.8+

389 reviews

Commencer le cours gratuitement

Ce chapitre propose une introduction complète à Data Version Control (DVC), un outil essentiel pour le versionnage des données en Machine Learning. Vous explorerez les motivations du versionnage des données, comprendrez ses différences avec le versionnage du code et expérimenterez un simple problème de classification. Vous reverrez des commandes Git de base, découvrirez DVC et vous entraînerez à configurer un dépôt. Le chapitre se termine par un panorama des fonctionnalités et cas d’usage de DVC, notamment le versionnage des données et des modèles, la CI/CD pour le Machine Learning, le suivi d’expériences, les pipelines, et plus encore.

Exercise 1: Pourquoi versionner les données Exercise 2: Anatomie d’un modèle de Machine Learning Exercise 3: Différences entre le versionnage des données et du code Exercise 4: Comprendre les hyperparamètres Exercise 5: Introduction à DVC Exercise 6: Travailler avec l’interface en ligne de commande de Git Exercise 7: Révision de la CLI DVC Exercise 8: Fonctionnalités et cas d’usage de DVC Exercise 9: Pipelines DVC Exercise 10: CI/CD pour le Machine Learning

Ce chapitre aborde la mise en place de DVC, incluant l’installation, l’initialisation du dépôt et l’utilisation du fichier .dvcignore. Il explore ensuite le cache DVC et les fichiers de staging, en vous apprenant à ajouter et supprimer des fichiers, gérer les caches et comprendre les mécanismes sous-jacents via le hachage MD5. Le chapitre clarifie également les remotes DVC, en les distinguant des remotes Git, et vous guide pour les ajouter, les lister et les modifier. Enfin, vous apprendrez à interagir avec ces remotes en poussant et récupérant des données, en basculant vers des versions spécifiques et en rapatriant des données dans le cache.

Exercise 1: Configuration et initialisation de DVC Exercise 2: Configurer DVC Exercise 3: .dvcignore : modèles Exercise 4: Cache DVC et fichiers en attente Exercise 5: Travailler avec le cache DVC Exercise 6: Comprendre les fichiers .dvc Exercise 7: Configurer les remotes DVC Exercise 8: Objectif des remotes DVC Exercise 9: Configurer un remote DVC Exercise 10: Interagir avec les remotes DVC Exercise 11: Gérer les versions des données avec un remote DVC Exercise 12: Basculer entre des versions de données

Ce chapitre se concentre sur l’automatisation des pipelines de ML avec DVC. Vous créez un fichier de configuration contenant des paramètres et des hyperparamètres. Vous apprenez aussi à visualiser un pipeline à l’aide de graphes acycliques orientés et utilisez des commandes pour décrire les dépendances, les commandes et les résultats. L’exécution des pipelines DVC est couverte, y compris l’entraînement local de modèles et la façon dont Git suit les métadonnées DVC. Enfin, vous explorez le suivi des métriques et des graphiques dans DVC, notamment comment afficher les métriques, créer des fichiers de graphiques et comparer métriques et graphiques entre différentes étapes du pipeline.

Exercise 1: Organisation du code et refactorisation Exercise 2: Comprendre les fichiers de paramètres dans DVC Exercise 3: Écrire un fichier de paramètres Exercise 4: Écrire et visualiser des pipelines DVC Exercise 5: Concevoir un pipeline DVC Exercise 6: Visualiser un pipeline DVC Exercise 7: Exécuter des pipelines DVC Exercise 8: Concepts d’exécution des pipelines DVC

Exercice actuel

Exercise 9: Exécuter un pipeline d’entraînement de modèle de Machine Learning Exercise 10: Évaluation : métriques et graphiques dans DVC Exercise 11: Suivi des métriques DVC Exercise 12: Ajouter des graphiques à dvc.yaml Exercise 13: Félicitations !