Det här kapitlet ger en grundlig introduktion till Data Version Control (DVC), ett verktyg som är centralt för dataversionshantering inom maskininlärning. Du utforskar motivationen bakom dataversionshantering, förstår skillnaderna jämfört med kodversionshantering och experimenterar med ett enkelt klassificeringsproblem. Du repeterar grundläggande Git-kommandon, lär dig om DVC och övar på att sätta upp ett repository. Kapitlet avslutas med en översikt av DVC:s funktioner och användningsområden, däribland versionshantering av data och modeller, CI/CD för maskininlärning, experimentspårning, pipelines och mer därtill.

Motivation till dataversionshantering

Anatomi hos en maskininlärningsmodell

Skillnader mellan data- och kodversionering

Förstå hyperparametrar

Introduktion till DVC

Arbeta med Git CLI

Utforska DVC CLI

DVC:s funktioner och användningsområden

DVC-pipelines

CI/CD för maskininlärning

Det här kapitlet går på djupet med konfigurationen av DVC och täcker installation, initiering av repository och användning av filen .dvcignore. Du utforskar DVC-cachen och hur filer mellanlagras, och lär dig lägga till och ta bort filer, hantera cachen samt förstå de underliggande mekanismerna med hjälp av MD5-hash. Kapitlet förklarar också DVC-fjärrkällor, hur de skiljer sig från Git-fjärrkällor, och visar hur du lägger till, listar och ändrar dem. Avslutningsvis lär du dig interagera med fjärrkällorna genom att pusha och hämta data, checka ut specifika versioner och hämta data till cachen.

DVC-installation och initiering

#!/bin/bash

# Initialize DVC in the workspace
dvc init

# Check DVC version
dvc version

# Commit the changes using Git
git add .
git commit -m "initial commit"

Konfigurera DVC

# Add patterns of files dvc should ignore, which could improve
# the performance. Learn more at
# https://dvc.org/doc/user-guide/dvcignore

# Ignore all files in the 'dataset' directory
dataset/____

# But don't ignore 'dataset/myData.csv'
!dataset/____

# Ignore all .json files
____

#!/bin/bash

# Check if JSON files are actually ignored in dvcignore
dvc check-ignore -d

# Add patterns of files dvc should ignore, which could improve
# the performance. Learn more at
# https://dvc.org/doc/user-guide/dvcignore

# Ignore all files in the 'dataset' directory
dataset/*

# But don't ignore 'dataset/myData.csv'
!dataset/myData.csv

# Ignore all .json files
*.json

.dvcignore-mönster

DVC-cache och iscensättning av filer

#!/bin/bash

# Add dataset to DVC
dvc add dataset.csv

# Check DVC cache is populated
find .dvc/cache -type f

# Unstage the metadata file
dvc remove dataset.csv.dvc

# Clean the cache
dvc gc -w


Arbeta med DVC-cache

Förstå .dvc-filer

Konfigurera DVC-fjärrlagring

DVC-remotes syfte

#!/bin/bash

# Set up a local DVC remote
dvc remote add --local localremote /tmp/dvc

# List the DVC remotes
dvc remote list

# Modify the existing remote to a new location `/tmp/dvc-new`
dvc remote modify --local localremote url /tmp/dvc-new

# List the local remotes again
dvc remote list

Konfigurera en DVC-remote

Interagera med DVC-fjärrkällor

#!/bin/bash

# Add the `dataset.csv` to DVC cache.
dvc add dataset.csv

# Commit the corresponding `.dvc` file to Git
git commit -m "tracking dataset.csv"

# Push the dataset to the DVC remote
dvc push

# Run pull command
dvc pull

Versionera data med DVC Remote

#!/bin/bash

# Inspect the Git commit history
git log

# File MD5 value
md5sum dataset.csv

# Roll back the changes made to the dataset metadata file by one commit
git reset --hard HEAD~1
# Alternatively
git revert

# Update the dataset
dvc checkout

Hämta versionerad data

DVC-konfiguration och datahantering

Det här kapitlet fokuserar på att automatisera ML-pipelines med DVC. Du skapar en konfigurationsfil med inställningar och hyperparametrar, och lär dig visualisera pipelines med hjälp av riktade acykliska grafer samt använda kommandon för att beskriva beroenden, kommandon och utdata. Du lär dig också köra DVC-pipelines, inklusive lokal modellträning och hur Git spårar DVC-metadata. Dessutom utforskar du spårning av mätvärden och diagram i DVC – hur du skriver ut mätvärden, skapar diagramfiler och jämför mätvärden och diagram mellan olika steg i pipelinen.

Kodorganisation och refaktorering

Förstå parameterfiler i DVC

Skriv en parameterfil

Att skriva och visualisera DVC-pipelines

Designa en DVC-pipeline

Visualisera en DVC-pipeline

Köra DVC-pipelines

Koncept för körning av DVC-pipelines

Kör en träningspipeline för en ML-modell

Utvärdering: Mätvärden och diagram i DVC

Spåra DVC-mätvärden

Lägga till plottar i dvc.yaml

Grattis!

Pipelines i DVC

Utforska Data Version Control (DVC), ett verktyg för att hantera och versionera ML-data. Lär dig om dess roll i ML-livscykeln, skillnaden mellan dataversionshantering och kodversionshantering samt DVC:s funktioner och användningsområden. Lär dig konfigurera DVC, inklusive cachehantering och fjärrlagring, och upptäck hur verktyget används i CI/CD, experimentspårning och pipelines. Automatisera ML-pipelines med fokus på kodmodularisering och träna på att köra dem effektivt. Avsluta med modellutvärdering och lär dig spåra mätvärden i DVC för välgrundade beslut.


Den här kursen ger en omfattande introduktion till Data Version Control (DVC), ett verktyg som är utformat för effektiv hantering och versionskontroll av data för maskininlärning. Du får en förståelse för maskininlärningsproduktens livscykel, lär dig skilja på dataversionering och kodversionering samt utforskar DVC:s funktioner och användningsområden.

<h2>Utforska DVC-funktioner</h2>
Du kommer att förstå motiven bakom dataversionering, maskininlärningslivscykeln och DVC:s unika funktioner och användningsområden. Du kommer också att lära dig om DVC-konfiguration, inklusive installation, initiering av repository och filen .dvcignore. Du kommer att utforska DVC-cache och staging-filer, lära dig att lägga till och ta bort filer, hantera cacheminnen och förstå de underliggande mekanismerna. Du kommer att lära dig om DVC-fjärrlagringar, förklara skillnaden mellan DVC- och Git-fjärrlagringar, lägga till fjärrlagringar, lista dem och ändra dem. Du kommer att lära dig att interagera med fjärrarkiv, pusha och pulla data, checka ut specifika versioner och hämta data till cachen.

<h2>Automatisera och utvärdera</h2>
Du kommer att motiveras att automatisera ML-pipelines, med fokus på modulär kodstruktur och skapandet av en konfigurationsfil. Du kommer att introduceras till DVC-pipelines som riktade acykliska grafer, med praktisk erfarenhet av att lägga till steg samt deras in- och utdata. Du kommer att öva på att köra dessa pipelines effektivt för att möjliggöra olika användningsområden inom träning av maskininlärningsmodeller. Kursen avslutas med fokus på utvärdering och visar hur mätvärden och diagram spåras i DVC.

Supervised Learning with scikit-learn

Introduction to Git

Utforska Data Version Control för ML-datahantering. Automatisera pipelines och utvärdera modeller enkelt.

Introduktion till dataversionshantering med DVC

Utforska Data Version Control för hantering av ML-data. Bemästra uppsättning, automatisera pipelines och utvärdera modeller sömlöst.

Förstå .dvc-filer

Introduktion till dataversionshantering med DVC

Interaktiv övning med praktiskt arbete