Concepts d'exécution d'un pipeline DVC

Les pipelines DVC simplifient les flux de travail en Machine Learning en permettant la gestion de versions, le suivi et la mise en cache efficaces des données et du code. Comprendre l'exécution d'un pipeline vous aide à concevoir des flux de travail performants. Dans cet exercice, vous allez vérifier votre compréhension de la façon dont DVC exécute des pipelines reproductibles.

Cette activité fait partie du cours

Introduction au contrôle de versions des données avec DVC

Voir le cours

Exercice interactif pratique

Passez de la théorie à l’action grâce à l’un de nos exercices interactifs

Commencer l’exercice

Cette activité fait partie du cours

Introduction au contrôle de versions des données avec DVC

SkillTag.level.intermediateSkillTag.label

4.8+

395 reviews

Commencer le cours gratuitement

Ce chapitre propose une introduction complète à Data Version Control (DVC), un outil essentiel pour le versionnage des données en Machine Learning. Vous verrez pourquoi le versionnage des données est important, en quoi il se distingue du versionnage du code, et vous expérimenterez avec un simple problème de classification. Vous reverrez les commandes de base de Git, ferez connaissance avec DVC et pratiquerez la création d'un dépôt. Le chapitre se termine par un survol des fonctionnalités et cas d'usage de DVC, incluant le versionnage des données et des modèles, la CI/CD pour le Machine Learning, le suivi d'expériences, les pipelines et plus encore.

Exercise 1: Pourquoi versionner les données Exercise 2: Anatomie d'un modèle de Machine Learning Exercise 3: Différences entre la gestion de versions des données et du code Exercise 4: Comprendre les hyperparamètres Exercise 5: Introduction à DVC Exercise 6: Travailler avec l'interface CLI de Git Exercise 7: Révision de l'interface en ligne de commande DVC Exercise 8: Fonctionnalités et cas d'utilisation de DVC Exercise 9: Pipelines DVC Exercise 10: CI/CD pour le machine learning

Ce chapitre approfondit la mise en place de DVC, notamment l'installation, l'initialisation du dépôt et l'utilisation du fichier .dvcignore. On y explore aussi l'antémémoire (cache) de DVC et les fichiers d'indexation (staging), pour vous apprendre à ajouter et supprimer des fichiers, gérer l'antémémoire et comprendre les mécanismes sous-jacents avec le hachage MD5. Le chapitre explique également les dépôts distants (remotes) de DVC, en les distinguant des remotes Git, et vous guide pour les ajouter, les lister et les modifier. Enfin, vous apprendrez à interagir avec ces remotes en poussant et en tirant des données, en extrayant des versions précises et en récupérant les données dans l'antémémoire.

Exercise 1: Configuration et initialisation de DVC Exercise 2: Configuration de DVC Exercise 3: Motifs .dvcignore Exercise 4: Cache DVC et fichiers en préparation Exercise 5: Travailler avec la cache de DVC Exercise 6: Comprendre les fichiers .dvc Exercise 7: Configurer les dépôts distants DVC Exercise 8: Rôle des dépôts distants DVC Exercise 9: Configurer un dépôt distant DVC Exercise 10: Interagir avec les dépôts distants DVC Exercise 11: Gérer les versions des données avec un DVC Remote Exercise 12: Extraction de données versionnées

Ce chapitre porte sur l'automatisation des pipelines de ML avec DVC. Vous créerez un fichier de configuration contenant des paramètres et des hyperparamètres. Vous apprendrez aussi à visualiser les pipelines à l'aide de graphes acycliques dirigés et à utiliser des commandes pour décrire les dépendances, les commandes et les résultats. L'exécution des pipelines DVC est couverte, y compris l'entraînement de modèles en local et la façon dont Git suit les métadonnées de DVC. Enfin, vous explorerez le suivi des mesures et des graphiques dans DVC, notamment comment afficher les mesures, créer des fichiers de graphiques et comparer mesures et graphiques entre différentes étapes du pipeline.

Exercise 1: Organisation du code et remaniement Exercise 2: Comprendre les fichiers de paramètres dans DVC Exercise 3: Rédiger un fichier de paramètres Exercise 4: Rédaction et visualisation de pipelines DVC Exercise 5: Concevoir un pipeline DVC Exercise 6: Visualiser un pipeline DVC Exercise 7: Exécuter des pipelines DVC Exercise 8: Concepts d'exécution d'un pipeline DVC

Exercice en cours

Exercise 9: Exécuter un pipeline d'entraînement de modèle ML Exercise 10: Évaluation : mesures et graphiques dans DVC Exercise 11: Suivi des métriques DVC Exercise 12: Ajouter des graphiques à dvc.yaml Exercise 13: Félicitations !