Configurer un remote DVC

Dans cet exercice dans l’éditeur, vous allez vous entraîner à configurer et modifier des remotes DVC pour stocker et distribuer vos jeux de données en toute sécurité. Les remotes DVC vous permettent de stocker et de partager des données avec les versions appropriées. Nous avons déjà initialisé DVC pour cet exercice. Votre objectif sera uniquement de configurer des remotes DVC dans un environnement de système de fichiers local.

La syntaxe pour ajouter un remote DVC par défaut est

dvc remote add --local <remote_name> </path/to/folder>

où --local indique que le remote DVC pointe vers un emplacement local.

Pour modifier l’emplacement d’un remote DVC, vous pouvez utiliser la commande suivante

dvc remote modify --local <remote_name> url </path/to/new-location>

remarquez que nous modifions la clé url dans la configuration qui stocke l’emplacement.

Cet exercice fait partie du cours

<cours>Introduction au versionnage des données avec DVC</cours>

Exercice interactif pratique

Transformez la théorie en action avec l’un de nos exercices interactifs

Commencer l’exercice

Cet exercice fait partie du cours

<cours>Introduction au versionnage des données avec DVC</cours>

IntermédiaireNiveau de compétence

4.8+

Commencer le cours gratuitement

Ce chapitre propose une introduction complète à Data Version Control (DVC), un outil essentiel pour le versionnage des données en Machine Learning. Vous explorerez les motivations du versionnage des données, comprendrez ses différences avec le versionnage du code et expérimenterez un simple problème de classification. Vous reverrez des commandes Git de base, découvrirez DVC et vous entraînerez à configurer un dépôt. Le chapitre se termine par un panorama des fonctionnalités et cas d’usage de DVC, notamment le versionnage des données et des modèles, la CI/CD pour le Machine Learning, le suivi d’expériences, les pipelines, et plus encore.

Exercise 1: Pourquoi versionner les données Exercise 2: Anatomie d’un modèle de Machine Learning Exercise 3: Différences entre le versionnage des données et du code Exercise 4: Comprendre les hyperparamètres Exercise 5: Introduction à DVC Exercise 6: Travailler avec l’interface en ligne de commande de Git Exercise 7: Révision de la CLI DVC Exercise 8: Fonctionnalités et cas d’usage de DVC Exercise 9: Pipelines DVC Exercise 10: CI/CD pour le Machine Learning

Ce chapitre aborde la mise en place de DVC, incluant l’installation, l’initialisation du dépôt et l’utilisation du fichier .dvcignore. Il explore ensuite le cache DVC et les fichiers de staging, en vous apprenant à ajouter et supprimer des fichiers, gérer les caches et comprendre les mécanismes sous-jacents via le hachage MD5. Le chapitre clarifie également les remotes DVC, en les distinguant des remotes Git, et vous guide pour les ajouter, les lister et les modifier. Enfin, vous apprendrez à interagir avec ces remotes en poussant et récupérant des données, en basculant vers des versions spécifiques et en rapatriant des données dans le cache.

Exercise 1: Configuration et initialisation de DVC Exercise 2: Configurer DVC Exercise 3: .dvcignore : modèles Exercise 4: Cache DVC et fichiers en attente Exercise 5: Travailler avec le cache DVC Exercise 6: Comprendre les fichiers .dvc Exercise 7: Configurer les remotes DVC Exercise 8: Objectif des remotes DVC Exercise 9: Configurer un remote DVC

Exercice actuel

Exercise 10: Interagir avec les remotes DVC Exercise 11: Gérer les versions des données avec un remote DVC Exercise 12: Basculer entre des versions de données

Ce chapitre se concentre sur l’automatisation des pipelines de ML avec DVC. Vous créez un fichier de configuration contenant des paramètres et des hyperparamètres. Vous apprenez aussi à visualiser un pipeline à l’aide de graphes acycliques orientés et utilisez des commandes pour décrire les dépendances, les commandes et les résultats. L’exécution des pipelines DVC est couverte, y compris l’entraînement local de modèles et la façon dont Git suit les métadonnées DVC. Enfin, vous explorez le suivi des métriques et des graphiques dans DVC, notamment comment afficher les métriques, créer des fichiers de graphiques et comparer métriques et graphiques entre différentes étapes du pipeline.

Exercise 1: Organisation du code et refactorisation Exercise 2: Comprendre les fichiers de paramètres dans DVC Exercise 3: Écrire un fichier de paramètres Exercise 4: Écrire et visualiser des pipelines DVC Exercise 5: Concevoir un pipeline DVC Exercise 6: Visualiser un pipeline DVC Exercise 7: Exécuter des pipelines DVC Exercise 8: Concepts d’exécution des pipelines DVC Exercise 9: Exécuter un pipeline d’entraînement de modèle de Machine Learning Exercise 10: Évaluation : métriques et graphiques dans DVC Exercise 11: Suivi des métriques DVC Exercise 12: Ajouter des graphiques à dvc.yaml Exercise 13: Félicitations !