Configurer un dépôt distant DVC

Dans cet exercice dans l'éditeur, vous allez vous exercer à configurer et à modifier des dépôts distants DVC pour stocker et distribuer vos jeux de données de façon sécuritaire. Les dépôts distants DVC vous permettent d'entreposer et de partager des données avec les bonnes versions. Nous avons déjà initialisé DVC pour cet exercice. Votre tâche consiste uniquement à configurer des dépôts distants DVC dans un environnement de système de fichiers local.

La syntaxe pour ajouter un dépôt distant DVC par défaut est

dvc remote add --local <remote_name> </path/to/folder>

où --local indique que le dépôt distant DVC pointe vers une ressource locale.

Pour modifier l'emplacement d'un dépôt distant DVC, on peut utiliser la commande suivante

dvc remote modify --local <remote_name> url </path/to/new-location>

remarquez que nous modifions la clé url dans la configuration qui enregistre l'emplacement.

Cette activité fait partie du cours

Introduction au contrôle de versions des données avec DVC

Exercice interactif pratique

Passez de la théorie à l’action grâce à l’un de nos exercices interactifs

Commencer l’exercice

Cette activité fait partie du cours

Introduction au contrôle de versions des données avec DVC

SkillTag.level.intermediateSkillTag.label

4.8+

Commencer le cours gratuitement

Ce chapitre propose une introduction complète à Data Version Control (DVC), un outil essentiel pour le versionnage des données en Machine Learning. Vous verrez pourquoi le versionnage des données est important, en quoi il se distingue du versionnage du code, et vous expérimenterez avec un simple problème de classification. Vous reverrez les commandes de base de Git, ferez connaissance avec DVC et pratiquerez la création d'un dépôt. Le chapitre se termine par un survol des fonctionnalités et cas d'usage de DVC, incluant le versionnage des données et des modèles, la CI/CD pour le Machine Learning, le suivi d'expériences, les pipelines et plus encore.

Exercise 1: Pourquoi versionner les données Exercise 2: Anatomie d'un modèle de Machine Learning Exercise 3: Différences entre la gestion de versions des données et du code Exercise 4: Comprendre les hyperparamètres Exercise 5: Introduction à DVC Exercise 6: Travailler avec l'interface CLI de Git Exercise 7: Révision de l'interface en ligne de commande DVC Exercise 8: Fonctionnalités et cas d'utilisation de DVC Exercise 9: Pipelines DVC Exercise 10: CI/CD pour le machine learning

Ce chapitre approfondit la mise en place de DVC, notamment l'installation, l'initialisation du dépôt et l'utilisation du fichier .dvcignore. On y explore aussi l'antémémoire (cache) de DVC et les fichiers d'indexation (staging), pour vous apprendre à ajouter et supprimer des fichiers, gérer l'antémémoire et comprendre les mécanismes sous-jacents avec le hachage MD5. Le chapitre explique également les dépôts distants (remotes) de DVC, en les distinguant des remotes Git, et vous guide pour les ajouter, les lister et les modifier. Enfin, vous apprendrez à interagir avec ces remotes en poussant et en tirant des données, en extrayant des versions précises et en récupérant les données dans l'antémémoire.

Exercise 1: Configuration et initialisation de DVC Exercise 2: Configuration de DVC Exercise 3: Motifs .dvcignore Exercise 4: Cache DVC et fichiers en préparation Exercise 5: Travailler avec la cache de DVC Exercise 6: Comprendre les fichiers .dvc Exercise 7: Configurer les dépôts distants DVC Exercise 8: Rôle des dépôts distants DVC Exercise 9: Configurer un dépôt distant DVC

Exercice en cours

Exercise 10: Interagir avec les dépôts distants DVC Exercise 11: Gérer les versions des données avec un DVC Remote Exercise 12: Extraction de données versionnées

Ce chapitre porte sur l'automatisation des pipelines de ML avec DVC. Vous créerez un fichier de configuration contenant des paramètres et des hyperparamètres. Vous apprendrez aussi à visualiser les pipelines à l'aide de graphes acycliques dirigés et à utiliser des commandes pour décrire les dépendances, les commandes et les résultats. L'exécution des pipelines DVC est couverte, y compris l'entraînement de modèles en local et la façon dont Git suit les métadonnées de DVC. Enfin, vous explorerez le suivi des mesures et des graphiques dans DVC, notamment comment afficher les mesures, créer des fichiers de graphiques et comparer mesures et graphiques entre différentes étapes du pipeline.

Exercise 1: Organisation du code et remaniement Exercise 2: Comprendre les fichiers de paramètres dans DVC Exercise 3: Rédiger un fichier de paramètres Exercise 4: Rédaction et visualisation de pipelines DVC Exercise 5: Concevoir un pipeline DVC Exercise 6: Visualiser un pipeline DVC Exercise 7: Exécuter des pipelines DVC Exercise 8: Concepts d'exécution d'un pipeline DVC Exercise 9: Exécuter un pipeline d'entraînement de modèle ML Exercise 10: Évaluation : mesures et graphiques dans DVC Exercise 11: Suivi des métriques DVC Exercise 12: Ajouter des graphiques à dvc.yaml Exercise 13: Félicitations !