Förstå parameterfiler i DVC

I data science- och maskininlärningsprojekt är det vanligt att använda verktyg som Data Version Control (DVC) för att hantera och versionera datafiler och kataloger. En av DVC:s viktigaste funktioner är möjligheten att hantera parametrar i projektets olika steg med hjälp av parameterfiler.

Vilket av följande påståenden är korrekt?

Den här övningen är en del av kursen

Introduktion till dataversionshantering med DVC

Visa kurs

Interaktiv övning med praktiskt arbete

Gör teori till handling med en av våra interaktiva övningar

Starta övningen

Den här övningen är en del av kursen

Introduktion till dataversionshantering med DVC

SkillTag.level.intermediateSkillTag.label

4.8+

401 reviews

Starta kursen gratis

Det här kapitlet ger en grundlig introduktion till Data Version Control (DVC), ett verktyg som är centralt för dataversionshantering inom maskininlärning. Du utforskar motivationen bakom dataversionshantering, förstår skillnaderna jämfört med kodversionshantering och experimenterar med ett enkelt klassificeringsproblem. Du repeterar grundläggande Git-kommandon, lär dig om DVC och övar på att sätta upp ett repository. Kapitlet avslutas med en översikt av DVC:s funktioner och användningsområden, däribland versionshantering av data och modeller, CI/CD för maskininlärning, experimentspårning, pipelines och mer därtill.

Exercise 1: Motivation till dataversionshantering Exercise 2: Anatomi hos en maskininlärningsmodell Exercise 3: Skillnader mellan data- och kodversionering Exercise 4: Förstå hyperparametrar Exercise 5: Introduktion till DVC Exercise 6: Arbeta med Git CLI Exercise 7: Utforska DVC CLI Exercise 8: DVC:s funktioner och användningsområden Exercise 9: DVC-pipelines Exercise 10: CI/CD för maskininlärning

Det här kapitlet går på djupet med konfigurationen av DVC och täcker installation, initiering av repository och användning av filen .dvcignore. Du utforskar DVC-cachen och hur filer mellanlagras, och lär dig lägga till och ta bort filer, hantera cachen samt förstå de underliggande mekanismerna med hjälp av MD5-hash. Kapitlet förklarar också DVC-fjärrkällor, hur de skiljer sig från Git-fjärrkällor, och visar hur du lägger till, listar och ändrar dem. Avslutningsvis lär du dig interagera med fjärrkällorna genom att pusha och hämta data, checka ut specifika versioner och hämta data till cachen.

Exercise 1: DVC-installation och initiering Exercise 2: Konfigurera DVC Exercise 3: .dvcignore-mönster Exercise 4: DVC-cache och iscensättning av filer Exercise 5: Arbeta med DVC-cache Exercise 6: Förstå .dvc-filer Exercise 7: Konfigurera DVC-fjärrlagring Exercise 8: DVC-remotes syfte Exercise 9: Konfigurera en DVC-remote Exercise 10: Interagera med DVC-fjärrkällor Exercise 11: Versionera data med DVC Remote Exercise 12: Hämta versionerad data

Det här kapitlet fokuserar på att automatisera ML-pipelines med DVC. Du skapar en konfigurationsfil med inställningar och hyperparametrar, och lär dig visualisera pipelines med hjälp av riktade acykliska grafer samt använda kommandon för att beskriva beroenden, kommandon och utdata. Du lär dig också köra DVC-pipelines, inklusive lokal modellträning och hur Git spårar DVC-metadata. Dessutom utforskar du spårning av mätvärden och diagram i DVC – hur du skriver ut mätvärden, skapar diagramfiler och jämför mätvärden och diagram mellan olika steg i pipelinen.

Exercise 1: Kodorganisation och refaktorering Exercise 2: Förstå parameterfiler i DVC

Aktuell övning

Exercise 3: Skriv en parameterfil Exercise 4: Att skriva och visualisera DVC-pipelines Exercise 5: Designa en DVC-pipeline Exercise 6: Visualisera en DVC-pipeline Exercise 7: Köra DVC-pipelines Exercise 8: Koncept för körning av DVC-pipelines Exercise 9: Kör en träningspipeline för en ML-modell Exercise 10: Utvärdering: Mätvärden och diagram i DVC Exercise 11: Spåra DVC-mätvärden Exercise 12: Lägga till plottar i dvc.yaml Exercise 13: Grattis!