Gérer les versions des données avec un remote DVC

Dans cet exercice avec éditeur, vous allez vous entraîner à versionner vos jeux de données et à les pousser vers un remote DVC. Le versionnement et le stockage des données sont au cœur de la proposition de valeur de DVC, et vous allez découvrir comment Git et DVC interagissent pour y parvenir. Le jeu de données utilisé est un jeu de données météo servant à prédire les précipitations à partir des conditions atmosphériques.

Nous avons déjà initialisé DVC, configuré un remote local à l’emplacement /tmp/dvc, et effectué un commit de configuration.

Cet exercice fait partie du cours

<cours>Introduction au versionnage des données avec DVC</cours>

Voir le cours

Exercice interactif pratique

Transformez la théorie en action avec l’un de nos exercices interactifs

Commencer l’exercice

Cet exercice fait partie du cours

<cours>Introduction au versionnage des données avec DVC</cours>

IntermédiaireNiveau de compétence

4.8+

393 reviews

Commencer le cours gratuitement

Ce chapitre propose une introduction complète à Data Version Control (DVC), un outil essentiel pour le versionnage des données en Machine Learning. Vous explorerez les motivations du versionnage des données, comprendrez ses différences avec le versionnage du code et expérimenterez un simple problème de classification. Vous reverrez des commandes Git de base, découvrirez DVC et vous entraînerez à configurer un dépôt. Le chapitre se termine par un panorama des fonctionnalités et cas d’usage de DVC, notamment le versionnage des données et des modèles, la CI/CD pour le Machine Learning, le suivi d’expériences, les pipelines, et plus encore.

Exercise 1: Pourquoi versionner les données Exercise 2: Anatomie d’un modèle de Machine Learning Exercise 3: Différences entre le versionnage des données et du code Exercise 4: Comprendre les hyperparamètres Exercise 5: Introduction à DVC Exercise 6: Travailler avec l’interface en ligne de commande de Git Exercise 7: Révision de la CLI DVC Exercise 8: Fonctionnalités et cas d’usage de DVC Exercise 9: Pipelines DVC Exercise 10: CI/CD pour le Machine Learning

Ce chapitre aborde la mise en place de DVC, incluant l’installation, l’initialisation du dépôt et l’utilisation du fichier .dvcignore. Il explore ensuite le cache DVC et les fichiers de staging, en vous apprenant à ajouter et supprimer des fichiers, gérer les caches et comprendre les mécanismes sous-jacents via le hachage MD5. Le chapitre clarifie également les remotes DVC, en les distinguant des remotes Git, et vous guide pour les ajouter, les lister et les modifier. Enfin, vous apprendrez à interagir avec ces remotes en poussant et récupérant des données, en basculant vers des versions spécifiques et en rapatriant des données dans le cache.

Exercise 1: Configuration et initialisation de DVC Exercise 2: Configurer DVC Exercise 3: .dvcignore : modèles Exercise 4: Cache DVC et fichiers en attente Exercise 5: Travailler avec le cache DVC Exercise 6: Comprendre les fichiers .dvc Exercise 7: Configurer les remotes DVC Exercise 8: Objectif des remotes DVC Exercise 9: Configurer un remote DVC Exercise 10: Interagir avec les remotes DVC Exercise 11: Gérer les versions des données avec un remote DVC

Exercice actuel

Exercise 12: Basculer entre des versions de données

Ce chapitre se concentre sur l’automatisation des pipelines de ML avec DVC. Vous créez un fichier de configuration contenant des paramètres et des hyperparamètres. Vous apprenez aussi à visualiser un pipeline à l’aide de graphes acycliques orientés et utilisez des commandes pour décrire les dépendances, les commandes et les résultats. L’exécution des pipelines DVC est couverte, y compris l’entraînement local de modèles et la façon dont Git suit les métadonnées DVC. Enfin, vous explorez le suivi des métriques et des graphiques dans DVC, notamment comment afficher les métriques, créer des fichiers de graphiques et comparer métriques et graphiques entre différentes étapes du pipeline.

Exercise 1: Organisation du code et refactorisation Exercise 2: Comprendre les fichiers de paramètres dans DVC Exercise 3: Écrire un fichier de paramètres Exercise 4: Écrire et visualiser des pipelines DVC Exercise 5: Concevoir un pipeline DVC Exercise 6: Visualiser un pipeline DVC Exercise 7: Exécuter des pipelines DVC Exercise 8: Concepts d’exécution des pipelines DVC Exercise 9: Exécuter un pipeline d’entraînement de modèle de Machine Learning Exercise 10: Évaluation : métriques et graphiques dans DVC Exercise 11: Suivi des métriques DVC Exercise 12: Ajouter des graphiques à dvc.yaml Exercise 13: Félicitations !