Créer un pipeline DVC

Imaginez un exemple simple de workflow où un document est imprimé puis scanné pour créer un PDF signé, avec DVC qui gère les dépendances et les sorties de chaque étape.

L’étape print dépend des instructions d’impression décrites dans print.sh et produit la sortie pages. L’étape scan dépend des instructions dans scan.sh et de pages (la sortie de printer) et produit un fichier signed.pdf.

Votre tâche consiste à concevoir un pipeline DVC décrivant ce workflow à l’aide de la commande dvc stage add. Sa syntaxe est la suivante :

dvc stage add -n <stage_name> -d <dependency> -o <output> <command>

Vous pouvez ajouter plusieurs dépendances et sorties en répétant les options -d et -o respectivement.

REMARQUE : DVC a déjà été initialisé dans la configuration de l’exercice. Il n’est pas nécessaire d’exécuter à nouveau dvc init.

Cet exercice fait partie du cours

CI/CD pour le Machine Learning

Afficher le cours

Exercice interactif pratique

Passez de la théorie à la pratique avec l’un de nos exercices interactifs

Commencer l’exercice

Cet exercice fait partie du cours

CI/CD pour le Machine Learning

AvancéNiveau de compétence

4.8+

Commencer le cours gratuitement

Dans ce chapitre, vous explorerez les principes essentiels de l’Intégration Continue/Livraison Continue (CI/CD) et de YAML. Vous comprendrez le cycle de vie du développement logiciel et des termes clés comme build, test et deploy. Découvrez les différences entre Intégration Continue, Livraison Continue et Déploiement Continu. Vous étudierez également l’importance de la CI/CD pour le Machine Learning et l’expérimentation.

Exercise 1: Introduction à l’Intégration continue/Livraison continue pour le Machine Learning Exercise 2: Continuous deployment et delivery Exercise 3: Workflow de machine learning Exercise 4: Introduction à YAML Exercise 5: Syntaxe YAML Exercise 6: Correspondances et séquences YAML Exercise 7: Introduction à GitHub Actions Exercise 8: Utilité de GitHub Actions Exercise 9: Anatomie de GitHub Actions

Préparez-vous à explorer GitHub Actions (GHA), une plateforme influente pour exécuter des workflows CI/CD. Découvrez les divers composants de GHA, notamment events, actions, jobs, steps, runners et context. Apprenez à créer des workflows déclenchés par des événements comme push et pull requests, et à personnaliser les machines runner. Passez à la pratique en mettant en place des pipelines CI fondamentaux et en comprenant les subtilités du journal (log) GHA.

Exercise 1: YAML intermédiaire Exercise 2: Trouvez la bonne combinaison Exercise 3: Concevoir un workflow d’intégration continue Exercise 4: Mettre en place un pipeline CI de base Exercise 5: Interpréter un workflow GitHub Actions Exercise 6: Écrire un workflow GitHub Actions Exercise 7: Exécuter le code du dépôt Exercise 8: Branches de fonctionnalité dans le modèle de dépôt partagé Exercise 9: Exécuter du code Python dans GitHub Actions Exercise 10: Variables d’environnement et secrets Exercise 11: Qu’est-ce que GITHUB_TOKEN ?Exercise 12: Utiliser des variables d’environnement Exercise 13: Utiliser les secrets

Dans ce chapitre, vous verrez comment intégrer l’entraînement de modèles de Machine Learning dans un pipeline GitHub Action à l’aide de Continuous Machine Learning GitHub Action. Vous générerez un rapport complet en Markdown incluant des métriques et des graphiques de modèle. Vous aborderez aussi la gestion de versions de données en Machine Learning en adoptant Data Version Control (DVC) pour suivre les évolutions des données. Le chapitre couvre également la configuration de remotes DVC et le transfert de jeux de données. Enfin, vous explorerez les pipelines DVC en configurant un fichier YAML DVC pour orchestrer un entraînement de modèle reproductible.

Exercise 1: Entraîner un modèle avec GitHub Actions Exercise 2: Développer un modèle de classification Exercise 3: Entraîner un modèle de classification Exercise 4: Configurer l’entraînement du modèle avec CML Exercise 5: Gérer les versions des jeux de données avec Data Version Control Exercise 6: Pourquoi les fichiers .dvc sont-ils nécessaires ?Exercise 7: La gestion de versions des données en pratique Exercise 8: Interagir avec les dépôts distants DVC Exercise 9: Explorer les avantages des remotes DVC Exercise 10: Mise en pratique des remotes DVC Exercise 11: Pipelines DVC Exercise 12: Créer un pipeline DVC

Exercice en cours

Exercise 13: Entraîner des modèles de ML avec DVC

Dans ce chapitre, vous vous concentrerez sur l’analyse des performances du modèle et le réglage des hyperparamètres. Vous acquerrez une expertise pratique pour comparer des métriques et des visualisations entre différentes branches afin d’évaluer les changements de performance du modèle. Vous allez effectuer un réglage d’hyperparamètres avec GridSearchCV de scikit-learn. En outre, vous approfondirez l’automatisation de pull requests en utilisant la configuration de modèle optimale.

Exercise 1: Comparer les métriques et les graphiques dans DVC Exercise 2: Ajouter des métriques et des graphiques à dvc.yaml Exercise 3: Comparer des métriques entre branches Git Exercise 4: Exécuter un pipeline DVC dans GitHub Actions Exercise 5: Ajustement des hyperparamètres avec DVC Exercise 6: Ajouter le réglage d’hyperparamètres à dvc.yaml Exercise 7: Exécuter des pipelines DVC de réglage d’hyperparamètres Exercise 8: Workflow GitHub Actions pour l’ajustement d’hyperparamètres Exercise 9: Couplage lâche Exercise 10: Configurer le réglage d’hyperparamètres dans GitHub Actions Exercise 11: Félicitations !