Koncept för körning av DVC-pipelines

DVC-pipelines effektiviserar maskininlärningsflöden och möjliggör versionshantering, spårning och caching av data och kod. Att förstå hur pipelines körs hjälper dig att utforma effektiva arbetsflöden. I den här övningen testar du din förståelse av hur DVC kör reproducerbara pipelines.

Den här övningen är en del av kursen

Introduktion till dataversionshantering med DVC

Visa kurs

Interaktiv övning med praktiskt arbete

Gör teori till handling med en av våra interaktiva övningar

Starta övningen

Den här övningen är en del av kursen

Introduktion till dataversionshantering med DVC

SkillTag.level.intermediateSkillTag.label

4.8+

401 reviews

Starta kursen gratis

Det här kapitlet ger en grundlig introduktion till Data Version Control (DVC), ett verktyg som är centralt för dataversionshantering inom maskininlärning. Du utforskar motivationen bakom dataversionshantering, förstår skillnaderna jämfört med kodversionshantering och experimenterar med ett enkelt klassificeringsproblem. Du repeterar grundläggande Git-kommandon, lär dig om DVC och övar på att sätta upp ett repository. Kapitlet avslutas med en översikt av DVC:s funktioner och användningsområden, däribland versionshantering av data och modeller, CI/CD för maskininlärning, experimentspårning, pipelines och mer därtill.

Exercise 1: Motivation till dataversionshantering Exercise 2: Anatomi hos en maskininlärningsmodell Exercise 3: Skillnader mellan data- och kodversionering Exercise 4: Förstå hyperparametrar Exercise 5: Introduktion till DVC Exercise 6: Arbeta med Git CLI Exercise 7: Utforska DVC CLI Exercise 8: DVC:s funktioner och användningsområden Exercise 9: DVC-pipelines Exercise 10: CI/CD för maskininlärning

Det här kapitlet går på djupet med konfigurationen av DVC och täcker installation, initiering av repository och användning av filen .dvcignore. Du utforskar DVC-cachen och hur filer mellanlagras, och lär dig lägga till och ta bort filer, hantera cachen samt förstå de underliggande mekanismerna med hjälp av MD5-hash. Kapitlet förklarar också DVC-fjärrkällor, hur de skiljer sig från Git-fjärrkällor, och visar hur du lägger till, listar och ändrar dem. Avslutningsvis lär du dig interagera med fjärrkällorna genom att pusha och hämta data, checka ut specifika versioner och hämta data till cachen.

Exercise 1: DVC-installation och initiering Exercise 2: Konfigurera DVC Exercise 3: .dvcignore-mönster Exercise 4: DVC-cache och iscensättning av filer Exercise 5: Arbeta med DVC-cache Exercise 6: Förstå .dvc-filer Exercise 7: Konfigurera DVC-fjärrlagring Exercise 8: DVC-remotes syfte Exercise 9: Konfigurera en DVC-remote Exercise 10: Interagera med DVC-fjärrkällor Exercise 11: Versionera data med DVC Remote Exercise 12: Hämta versionerad data

Det här kapitlet fokuserar på att automatisera ML-pipelines med DVC. Du skapar en konfigurationsfil med inställningar och hyperparametrar, och lär dig visualisera pipelines med hjälp av riktade acykliska grafer samt använda kommandon för att beskriva beroenden, kommandon och utdata. Du lär dig också köra DVC-pipelines, inklusive lokal modellträning och hur Git spårar DVC-metadata. Dessutom utforskar du spårning av mätvärden och diagram i DVC – hur du skriver ut mätvärden, skapar diagramfiler och jämför mätvärden och diagram mellan olika steg i pipelinen.

Exercise 1: Kodorganisation och refaktorering Exercise 2: Förstå parameterfiler i DVC Exercise 3: Skriv en parameterfil Exercise 4: Att skriva och visualisera DVC-pipelines Exercise 5: Designa en DVC-pipeline Exercise 6: Visualisera en DVC-pipeline Exercise 7: Köra DVC-pipelines Exercise 8: Koncept för körning av DVC-pipelines

Aktuell övning

Exercise 9: Kör en träningspipeline för en ML-modell Exercise 10: Utvärdering: Mätvärden och diagram i DVC Exercise 11: Spåra DVC-mätvärden Exercise 12: Lägga till plottar i dvc.yaml Exercise 13: Grattis!