Créer un pipeline DVC

Imaginez un exemple simple de flux de travail où un document est imprimé puis numérisé pour créer un PDF signé, avec DVC qui gère les dépendances et les sorties de chaque étape.

L'étape print dépend des consignes d'impression décrites dans print.sh et produit la sortie pages. L'étape scan dépend des consignes dans scan.sh et de pages (sortie de printer) et produit une sortie signed.pdf.

Votre tâche consiste à concevoir un pipeline DVC décrivant ce flux de travail à l'aide de la commande dvc stage add. Sa syntaxe est la suivante :

dvc stage add -n <stage_name> -d <dependency> -o <output> <command>

Vous pouvez ajouter plusieurs dépendances et sorties en répétant les indicateurs -d et -o respectivement.

NOTA : DVC a déjà été initialisé dans la configuration de l'exercice. Il n'est pas nécessaire d'exécuter de nouveau dvc init.

Cette activité fait partie du cours

CI/CD pour le Machine Learning

Exercice interactif pratique

Passez de la théorie à l’action grâce à l’un de nos exercices interactifs

Commencer l’exercice

Cette activité fait partie du cours

CI/CD pour le Machine Learning

SkillTag.level.advancedSkillTag.label

4.8+

Commencer le cours gratuitement

Dans ce chapitre, vous explorerez les principes essentiels de l'Intégration continue/Livraison continue (CI/CD) et de YAML. Vous comprendrez le cycle de vie du développement logiciel et des notions clés comme build, test et deploy. Découvrez les différences entre l'Intégration continue, la Livraison continue et le Déploiement continu. Vous examinerez aussi l'importance de la CI/CD dans le machine learning et l'expérimentation.

Exercise 1: Introduction à l'intégration et à la livraison continues (CI/CD) pour le Machine Learning Exercise 2: Continuous deployment et Continuous delivery Exercise 3: Flux de travail en machine learning Exercise 4: Introduction à YAML Exercise 5: Syntaxe YAML Exercise 6: Mappages et séquences en YAML Exercise 7: Introduction à GitHub Actions Exercise 8: Utilité de GitHub Actions Exercise 9: Anatomie de GitHub Actions

Préparez-vous à explorer GitHub Actions (GHA), une plateforme influente pour exécuter des flux de travail CI/CD. Découvrez les divers composants de GHA, dont les événements, actions, travaux (jobs), étapes (steps), exécuteurs (runners) et le contexte. Apprenez à créer des flux de travail déclenchés par des événements comme les push et les pull requests, et à personnaliser les machines des runners. Plongez dans la pratique en mettant en place des pipelines CI fondamentaux et en comprenant les particularités du journal GHA.

Exercise 1: YAML intermédiaire Exercise 2: Trouvez la bonne combinaison Exercise 3: Concevoir un flux de travail d'intégration continue Exercise 4: Mettre en place un pipeline CI de base Exercise 5: Interpréter un flux de travail GitHub Actions Exercise 6: Rédiger un workflow GitHub Actions Exercise 7: Exécuter le code du dépôt Exercise 8: Branches de fonctionnalité dans le modèle de référentiel partagé Exercise 9: Exécuter du code Python dans GitHub Actions Exercise 10: Variables d'environnement et secrets Exercise 11: Qu'est-ce que GITHUB_TOKEN ?Exercise 12: Travailler avec des variables d'environnement Exercise 13: Travailler avec les secrets

Dans ce chapitre, vous verrez comment intégrer l'entraînement de modèles de machine learning dans un pipeline GitHub Action en utilisant l'action Continuous Machine Learning. Vous génèrerez un rapport Markdown complet incluant des mesures de performance et des graphiques. Vous aborderez aussi la gestion de versions des données en Machine Learning en adoptant Data Version Control (DVC) pour suivre les changements de données. Le chapitre couvre également la configuration des dépôts distants (remotes) DVC et les transferts de jeux de données. Enfin, vous explorerez les pipelines DVC en configurant un fichier YAML DVC pour orchestrer un entraînement de modèle reproductible.

Exercise 1: Entraînement de modèles avec GitHub Actions Exercise 2: Développer un modèle de classification Exercise 3: Entraîner un modèle de classification Exercise 4: Configurer l'entraînement du modèle avec CML Exercise 5: Gestion de versions des jeux de données avec Data Version Control Exercise 6: Pourquoi les fichiers .dvc sont-ils nécessaires?Exercise 7: La gestion de versions des données en pratique Exercise 8: Interagir avec les dépôts distants DVC Exercise 9: Découvrir les avantages des remotes DVC Exercise 10: Mise en pratique des dépôts distants DVC Exercise 11: Pipelines DVC Exercise 12: Créer un pipeline DVC

Exercice en cours

Exercise 13: Entraîner des modèles ML avec DVC

Dans ce chapitre, vous porterez votre attention sur l'analyse de la performance des modèles et le réglage fin des hyperparamètres. Vous acquerrez une expertise pratique pour comparer des mesures et des visualisations entre différentes branches afin d'évaluer les changements de performance. Vous allez effectuer un ajustement d'hyperparamètres avec GridSearchCV de scikit-learn. De plus, vous explorerez l'automatisation de pull requests utilisant la configuration de modèle optimale.

Exercise 1: Comparer les mesures et les graphiques dans DVC Exercise 2: Ajouter des mesures et des graphiques à dvc.yaml Exercise 3: Comparer des métriques entre des branches Git Exercise 4: Exécuter un pipeline DVC dans GitHub Actions Exercise 5: Ajustement des hyperparamètres avec DVC Exercise 6: Ajouter l'ajustement d'hyperparamètres à dvc.yaml Exercise 7: Exécuter des pipelines DVC de réglage d'hyperparamètres Exercise 8: Flux de travail GitHub Actions pour l'ajustement des hyperparamètres Exercise 9: Couplage lâche Exercise 10: Configurer l'ajustement des hyperparamètres dans GitHub Actions Exercise 11: Félicitations !