Een DVC-pijplijn maken

Stel je een simpel voorbeeld voor van een workflow waarin een document wordt geprint en daarna gescand om een ondertekend PDF-document te maken, waarbij DVC de afhankelijkheden en outputs van elke stap beheert.

De print-stap hangt af van de printinstructies in print.sh en levert de output pages op. De scan-stap hangt af van de instructies in scan.sh en van pages (de output van printer) en levert een signed.pdf op.

Je taak is om een DVC-pijplijn te ontwerpen die de workflow beschrijft met het dvc stage add-commando. De syntaxis is

dvc stage add -n <stage_name> -d <dependency> -o <output> <command>

Je kunt meerdere afhankelijkheden en outputs toevoegen door -d en -o meerdere keren te gebruiken.

LET OP: DVC is al geïnitialiseerd in de oefening. Je hoeft dvc init niet opnieuw uit te voeren.

Deze oefening maakt deel uit van de cursus

CI/CD voor Machine Learning

Interactieve oefening met praktijkervaring

Zet theorie om in actie met een van onze interactieve oefeningen

Deze oefening maakt deel uit van de cursus

CI/CD voor Machine Learning

SkillTag.level.advancedSkillTag.label

4.8+

Begin gratis met de cursus

In dit hoofdstuk verken je de essentiële principes van Continuous Integration/Continuous Delivery (CI/CD) en YAML. Je krijgt grip op de softwareontwikkelingslevenscyclus en kernbegrippen zoals build, test en deploy. Ontdek de verschillen tussen Continuous Integration, Continuous Delivery en Continuous Deployment. Daarnaast onderzoek je het belang van CI/CD voor Machine Learning en experimentatie.

Exercise 1: Introductie tot Continuous Integration/Continuous Delivery voor Machine Learning Exercise 2: Continuous deployment en delivery Exercise 3: Machine learning-workflow Exercise 4: Introductie tot YAML Exercise 5: YAML-syntaxis Exercise 6: YAML-mappings en -reeksen Exercise 7: Introductie tot GitHub Actions Exercise 8: Nut van GitHub Actions Exercise 9: Anatomie van GitHub Actions

Maak je klaar om GitHub Actions (GHA) te verkennen, een krachtig platform voor het uitvoeren van CI/CD-workflows. Ontdek de diverse componenten van GHA, waaronder events, actions, jobs, steps, runners en context. Krijg inzicht in het opstellen van workflows die worden geactiveerd door events zoals push en pull requests, en pas runner-machines aan. Ga hands-on aan de slag terwijl je fundamentele CI-pipelines opzet en de finesses van de GHA-log leert begrijpen.

Exercise 1: Gevorderde YAML Exercise 2: Vind de juiste combinatie Exercise 3: Ontwerp een Continuous Integration-workflow Exercise 4: Een basis-CI-pijplijn opzetten Exercise 5: Interpreteer GitHub Actions-workflow Exercise 6: Schrijf een GitHub Actions-workflow Exercise 7: Code uit de repository uitvoeren Exercise 8: Feature branches in het gedeelde-repositorymodel Exercise 9: Python-code uitvoeren in GitHub Actions Exercise 10: Omgevingsvariabelen en secrets Exercise 11: Wat is GITHUB_TOKEN?Exercise 12: Werken met omgevingsvariabelen Exercise 13: Werken met secrets

In dit hoofdstuk verken je het integreren van het trainen van Machine Learning-modellen in een GitHub Action-pipeline met behulp van Continuous Machine Learning GitHub Action. Je genereert een uitgebreid markdown-rapport met modelstatistieken en grafieken. Je duikt ook in dataversiebeheer in Machine Learning door Data Version Control (DVC) te gebruiken om wijzigingen in data te volgen. Het hoofdstuk behandelt ook het instellen van DVC-remotes en het overzetten van gegevenssets. Tot slot verken je DVC-pipelines en configureer je een DVC YAML-bestand om reproduceerbare modeltraining aan te sturen.

Exercise 1: Modellen trainen met GitHub Actions Exercise 2: Ontwikkel een classificatiemodel Exercise 3: Train een classificatiemodel Exercise 4: Modeltraining instellen met CML Exercise 5: Gegevenssets versiebeheer met Data Version Control Exercise 6: Waarom zijn .dvc-bestanden nodig?Exercise 7: Data-versioning in de praktijk Exercise 8: Werken met DVC-remotes Exercise 9: De voordelen van DVC-remotes verkennen Exercise 10: DVC-remotes in actie Exercise 11: DVC-pijplijnen Exercise 12: Een DVC-pijplijn maken

Huidige oefening

Exercise 13: Train ML-modellen met DVC

In dit hoofdstuk richt je je op de analyse van modelprestaties en het fijn afstellen van hyperparameters. Je verwerft praktische expertise in het vergelijken van metrics en visualisaties over verschillende branches om veranderingen in modelprestaties te beoordelen. Je zult hyperparameter-tuning uitvoeren met GridSearchCV van scikit-learn. Verder duik je in het automatiseren van pull requests met de optimale modelconfiguratie.

Exercise 1: Metrieken en plots vergelijken in DVC Exercise 2: Metrics en plots toevoegen aan dvc.yaml Exercise 3: Metrics vergelijken tussen Git-branches Exercise 4: Voer DVC-pijplijn uit in GitHub Actions Exercise 5: Hyperparametertuning met DVC Exercise 6: Hyperparameter-tuning toevoegen aan dvc.yaml Exercise 7: DVC-pijplijnen voor hyperparametertuning uitvoeren Exercise 8: GitHub Actions-workflow voor hyperparametertuning Exercise 9: Losse koppeling Exercise 10: Hyperparameter Tuning instellen in GitHub Actions Exercise 11: Gefeliciteerd!