Designa en DVC-pipeline

Att designa en DVC-pipeline, eller DAG, är grundläggande för att utnyttja DVC i dina maskininlärningsarbetsflöden. DAG:ar gör det möjligt att kodifiera indata, utdata och körning av ett visst steg. Utdata från ett steg kan fungera som indata till ett eller flera steg, vilket naturligt skapar rätt beroenden mellan stegen.

I den här övningen arbetar du med att designa ett ML-arbetsflöde som innehåller fyra steg:

Dataförbehandling (preprocess_stage)
Datauppdelning (split_stage)
Modellträning (train_stage)
Modellutvärdering (evaluate_stage)

Vi arbetar uteslutande med dvc stage add-kommandon. Scrolla ned till slutet av shell-skriptfilen (dvc_dag_stages_add.sh) om det behövs.

Den här övningen är en del av kursen

Introduktion till dataversionshantering med DVC

Visa kurs

Interaktiv övning med praktiskt arbete

Gör teori till handling med en av våra interaktiva övningar

Starta övningen

Den här övningen är en del av kursen

Introduktion till dataversionshantering med DVC

SkillTag.level.intermediateSkillTag.label

4.8+

401 reviews

Starta kursen gratis

Det här kapitlet ger en grundlig introduktion till Data Version Control (DVC), ett verktyg som är centralt för dataversionshantering inom maskininlärning. Du utforskar motivationen bakom dataversionshantering, förstår skillnaderna jämfört med kodversionshantering och experimenterar med ett enkelt klassificeringsproblem. Du repeterar grundläggande Git-kommandon, lär dig om DVC och övar på att sätta upp ett repository. Kapitlet avslutas med en översikt av DVC:s funktioner och användningsområden, däribland versionshantering av data och modeller, CI/CD för maskininlärning, experimentspårning, pipelines och mer därtill.

Exercise 1: Motivation till dataversionshantering Exercise 2: Anatomi hos en maskininlärningsmodell Exercise 3: Skillnader mellan data- och kodversionering Exercise 4: Förstå hyperparametrar Exercise 5: Introduktion till DVC Exercise 6: Arbeta med Git CLI Exercise 7: Utforska DVC CLI Exercise 8: DVC:s funktioner och användningsområden Exercise 9: DVC-pipelines Exercise 10: CI/CD för maskininlärning

Det här kapitlet går på djupet med konfigurationen av DVC och täcker installation, initiering av repository och användning av filen .dvcignore. Du utforskar DVC-cachen och hur filer mellanlagras, och lär dig lägga till och ta bort filer, hantera cachen samt förstå de underliggande mekanismerna med hjälp av MD5-hash. Kapitlet förklarar också DVC-fjärrkällor, hur de skiljer sig från Git-fjärrkällor, och visar hur du lägger till, listar och ändrar dem. Avslutningsvis lär du dig interagera med fjärrkällorna genom att pusha och hämta data, checka ut specifika versioner och hämta data till cachen.

Exercise 1: DVC-installation och initiering Exercise 2: Konfigurera DVC Exercise 3: .dvcignore-mönster Exercise 4: DVC-cache och iscensättning av filer Exercise 5: Arbeta med DVC-cache Exercise 6: Förstå .dvc-filer Exercise 7: Konfigurera DVC-fjärrlagring Exercise 8: DVC-remotes syfte Exercise 9: Konfigurera en DVC-remote Exercise 10: Interagera med DVC-fjärrkällor Exercise 11: Versionera data med DVC Remote Exercise 12: Hämta versionerad data

Det här kapitlet fokuserar på att automatisera ML-pipelines med DVC. Du skapar en konfigurationsfil med inställningar och hyperparametrar, och lär dig visualisera pipelines med hjälp av riktade acykliska grafer samt använda kommandon för att beskriva beroenden, kommandon och utdata. Du lär dig också köra DVC-pipelines, inklusive lokal modellträning och hur Git spårar DVC-metadata. Dessutom utforskar du spårning av mätvärden och diagram i DVC – hur du skriver ut mätvärden, skapar diagramfiler och jämför mätvärden och diagram mellan olika steg i pipelinen.

Exercise 1: Kodorganisation och refaktorering Exercise 2: Förstå parameterfiler i DVC Exercise 3: Skriv en parameterfil Exercise 4: Att skriva och visualisera DVC-pipelines Exercise 5: Designa en DVC-pipeline

Aktuell övning

Exercise 6: Visualisera en DVC-pipeline Exercise 7: Köra DVC-pipelines Exercise 8: Koncept för körning av DVC-pipelines Exercise 9: Kör en träningspipeline för en ML-modell Exercise 10: Utvärdering: Mätvärden och diagram i DVC Exercise 11: Spåra DVC-mätvärden Exercise 12: Lägga till plottar i dvc.yaml Exercise 13: Grattis!