Skapa en DVC-pipeline

Föreställ dig ett enkelt exempel på ett arbetsflöde där ett dokument skrivs ut och sedan skannas för att skapa ett signerat PDF-dokument – med DVC som hanterar beroenden och utdata för varje steg.

Stadiet print beror på utskriftsinstruktioner i print.sh och producerar utdatan pages. Stadiet scan beror på instruktioner i scan.sh och pages (utdata från printer) och producerar utdatan signed.pdf.

Din uppgift är att designa en DVC-pipeline som beskriver arbetsflödet med kommandot dvc stage add. Syntaxen är

dvc stage add -n <stage_name> -d <dependency> -o <output> <command>

Du kan lägga till flera beroenden och utdata genom att upprepa flaggorna -d respektive -o.

OBS: DVC har redan initierats i övningens konfiguration. Du behöver inte köra dvc init igen.

Den här övningen är en del av kursen

CI/CD för maskininlärning

Interaktiv övning med praktiskt arbete

Gör teori till handling med en av våra interaktiva övningar

Starta övningen

Den här övningen är en del av kursen

CI/CD för maskininlärning

SkillTag.level.advancedSkillTag.label

4.8+

Starta kursen gratis

I det här kapitlet utforskar du grundprinciperna för Continuous Integration/Continuous Delivery (CI/CD) och YAML. Du får förståelse för livscykeln inom mjukvaruutveckling och nyckeltermer som bygga, testa och driftsätta. Du lär dig skillnaderna mellan Continuous Integration, Continuous Delivery och Continuous Deployment. Dessutom undersöker du varför CI/CD är viktigt inom maskininlärning och experimenterande.

Exercise 1: Introduktion till CI/CD för maskininlärning Exercise 2: Kontinuerlig driftsättning och leverans Exercise 3: Maskininlärningsarbetsflöde Exercise 4: Introduktion till YAML Exercise 5: YAML-syntax Exercise 6: YAML-mappningar och sekvenser Exercise 7: Introduktion till GitHub Actions Exercise 8: Nyttan med GitHub Actions Exercise 9: GitHub Actions uppbyggnad

Här utforskar du GitHub Actions (GHA), en kraftfull plattform för att köra CI/CD-arbetsflöden. Du lär dig om de olika komponenterna i GHA – händelser, actions, jobb, steg, runners och kontext. Du får inblick i hur du skapar arbetsflöden som aktiveras av händelser som push och pull requests, och hur du anpassar runner-maskiner. Genom praktiska övningar sätter du upp grundläggande CI-pipelines och lär dig förstå GHA-loggen.

Exercise 1: YAML för medelnivå Exercise 2: Hitta rätt kombination Exercise 3: Utforma ett CI-arbetsflöde Exercise 4: Sätta upp en grundläggande CI-pipeline Exercise 5: Tolka ett GitHub Actions-arbetsflöde Exercise 6: Skriv ett GitHub Actions-arbetsflöde Exercise 7: Kör kod från repositoryt Exercise 8: Funktionsgrenar i den delade repositorymodellen Exercise 9: Köra Python-kod i GitHub Actions Exercise 10: Miljövariabler och hemligheter Exercise 11: Vad är GITHUB_TOKEN?Exercise 12: Arbeta med miljövariabler Exercise 13: Arbeta med hemligheter

I det här kapitlet utforskar du hur maskininlärningsträning integreras i en GitHub Actions-pipeline med hjälp av Continuous Machine Learning GitHub Action. Du genererar en detaljerad markdown-rapport med modellmätvärden och diagram. Du fördjupar dig även i dataversionshantering inom maskininlärning genom att använda Data Version Control (DVC) för att spåra dataförändringar. Kapitlet tar också upp hur du konfigurerar DVC-fjärrkällor och överför datamängder. Slutligen utforskar du DVC-pipelines och konfigurerar en DVC YAML-fil för att orkestrera reproducerbar modellträning.

Exercise 1: Modellträning med GitHub Actions Exercise 2: Utveckla en klassificeringsmodell Exercise 3: Träna en klassificeringsmodell Exercise 4: Konfigurera modellträning med CML Exercise 5: Versionhantering av datamängder med Data Version Control Exercise 6: Varför behövs .dvc-filer?Exercise 7: Dataversionering i praktiken Exercise 8: Interagera med DVC-fjärrkällor Exercise 9: Fördelarna med DVC-remotes Exercise 10: DVC-remotes i praktiken Exercise 11: DVC-pipelines Exercise 12: Skapa en DVC-pipeline

Aktuell övning

Exercise 13: Träna ML-modeller med DVC

I det här kapitlet fokuserar du på analys av modellprestanda och finjustering av hyperparametrar. Du skaffar dig praktisk erfarenhet av att jämföra mätvärden och visualiseringar mellan olika grenar för att bedöma förändringar i modellprestanda. Du utför hyperparameterjustering med scikit-learns GridSearchCV. Dessutom fördjupar du dig i hur pull requests kan automatiseras med den optimala modellkonfigurationen.

Exercise 1: Jämföra mätvärden och diagram i DVC Exercise 2: Lägga till mätvärden och plottar i dvc.yaml Exercise 3: Jämföra mätvärden mellan Git-grenar Exercise 4: Kör DVC-pipeline i GitHub Actions Exercise 5: Hyperparameterjustering med DVC Exercise 6: Lägga till hyperparameterjustering i dvc.yaml Exercise 7: Köra DVC-pipelines för hyperparameterjustering Exercise 8: GitHub Actions-arbetsflöde för hyperparameterjustering Exercise 9: Löst koppling Exercise 10: Konfigurera hyperparameterjustering i GitHub Actions Exercise 11: Grattis!