Dit hoofdstuk biedt een uitgebreide introductie tot Data Version Control (DVC), een essentiële tool voor dataversiebeheer in Machine Learning. Je ontdekt waarom dataversiebeheer belangrijk is, begrijpt de verschillen met codeversiebeheer en experimenteert met een eenvoudig classificatieprobleem. Je herhaalt basis-Git-commando’s, maakt kennis met DVC en oefent met het opzetten van een repository. Het hoofdstuk sluit af met een overzicht van DVC-functies en use-cases, waaronder versiebeheer van data en modellen, CI/CD voor Machine Learning, experiment tracking, pipelines en meer.

Motivatie voor data versioning

Anatomie van een Machine Learning-model

Verschillen tussen data- en codeversiebeheer

Hyperparameters begrijpen

Introductie tot DVC

Werken met de Git-CLI

DVC CLI herhalen

DVC-functies en use-cases

DVC-pipelines

CI/CD voor machine learning

Dit hoofdstuk gaat dieper in op het instellen van DVC, met onderwerpen als installatie, initialisatie van de repository en het gebruik van het .dvcignore-bestand. Je verkent ook de DVC-cache en staging-bestanden en leert hoe je bestanden toevoegt en verwijdert, caches beheert en de onderliggende mechanismen met de MD5-hash begrijpt. Verder worden DVC-remotes uitgelegd en onderscheiden van Git-remotes, en leer je hoe je ze toevoegt, weergeeft en wijzigt. Tot slot leer je hoe je met deze remotes werkt door data te pushen en pullen, specifieke versies te checken, en data naar de cache te fetchen.

DVC-installatie en initialisatie

#!/bin/bash

# Initialize DVC in the workspace
dvc init

# Check DVC version
dvc version

# Commit the changes using Git
git add .
git commit -m "initial commit"

DVC instellen

# Add patterns of files dvc should ignore, which could improve
# the performance. Learn more at
# https://dvc.org/doc/user-guide/dvcignore

# Ignore all files in the 'dataset' directory
dataset/____

# But don't ignore 'dataset/myData.csv'
!dataset/____

# Ignore all .json files
____

#!/bin/bash

# Check if JSON files are actually ignored in dvcignore
dvc check-ignore -d

# Add patterns of files dvc should ignore, which could improve
# the performance. Learn more at
# https://dvc.org/doc/user-guide/dvcignore

# Ignore all files in the 'dataset' directory
dataset/*

# But don't ignore 'dataset/myData.csv'
!dataset/myData.csv

# Ignore all .json files
*.json

.dvcignore-patronen

DVC-cache en staging-bestanden

#!/bin/bash

# Add dataset to DVC
dvc add dataset.csv

# Check DVC cache is populated
find .dvc/cache -type f

# Unstage the metadata file
dvc remove dataset.csv.dvc

# Clean the cache
dvc gc -w


Werken met de DVC-cache

Inzicht in .dvc-bestanden

DVC-remotes configureren

Doel van DVC-remotes

#!/bin/bash

# Set up a local DVC remote
dvc remote add --local localremote /tmp/dvc

# List the DVC remotes
dvc remote list

# Modify the existing remote to a new location `/tmp/dvc-new`
dvc remote modify --local localremote url /tmp/dvc-new

# List the local remotes again
dvc remote list

Een DVC-remote instellen

Werken met DVC-remotes

#!/bin/bash

# Add the `dataset.csv` to DVC cache.
dvc add dataset.csv

# Commit the corresponding `.dvc` file to Git
git commit -m "tracking dataset.csv"

# Push the dataset to the DVC remote
dvc push

# Run pull command
dvc pull

Gegevens versies beheren met DVC Remote

#!/bin/bash

# Inspect the Git commit history
git log

# File MD5 value
md5sum dataset.csv

# Roll back the changes made to the dataset metadata file by one commit
git reset --hard HEAD~1
# Alternatively
git revert

# Update the dataset
dvc checkout

Versiebeheerde data uitchecken

DVC-configuratie en gegevensbeheer

Dit hoofdstuk richt zich op het automatiseren van ML-pipelines met DVC. Je maakt een configuratiebestand met instellingen en hyperparameters. Je leert ook hoe je pipelines visualiseert met gerichte acyclische grafen en gebruikt commando’s om dependencies, commando’s en outputs te beschrijven. De uitvoering van DVC-pipelines komt aan bod, inclusief lokaal model trainen en hoe Git DVC-metadata bijhoudt. Daarnaast verken je het bijhouden van metrics en plots in DVC, waaronder het afdrukken van metrics, het maken van plotbestanden, en het vergelijken van metrics en plots over verschillende pipeline-stappen.

Code organiseren en refactoren

Parameterbestanden in DVC begrijpen

Schrijf een parameterbestand

DVC-pipelines schrijven en visualiseren

Een DVC-pipeline ontwerpen

Een DVC-pijplijn visualiseren

DVC-pijplijnen uitvoeren

Concepten rond DVC-pipeline-uitvoering

Voer een ML-modeltraining-pijplijn uit

Evaluatie: metrics en plots in DVC

DVC-metrics bijhouden

Plots toevoegen aan dvc.yaml

Gefeliciteerd!

Pipelines in DVC

Verdiep je in Data Version Control (DVC), een tool voor het beheren en versies bijhouden van ML-data. Ontdek de rol ervan in de ML-levenscyclus, het verschil tussen dataversiebeheer en codeversiebeheer, en bekijk de functies en use-cases van DVC. Leer hoe je DVC instelt, inclusief cachebeheer en remotes, en ontdek de toepassingen in CI/CD, experiment tracking en pipelines. Automatiseer ML-pipelines met nadruk op het modulair maken van code, en oefen met het efficiënt uitvoeren ervan. Sluit af met modelevaluatie en verken het bijhouden van metriek in DVC om gefundeerde beslissingen te nemen.



Deze cursus geeft je een uitgebreide introductie tot Data Version Control (DVC), een tool die is gemaakt om machine learning-data efficiënt te beheren en te versioneren. Je leert over de levenscyclus van machine learning-producten, het verschil tussen dataversies en codeversies, en je ontdekt de functies en toepassingen van DVC.

<h2>De functies van DVC ontdekken</h2>
Je leert de redenen achter dataversiebeheer, de levenscyclus van machine learning en de unieke functies en toepassingen van DVC. Je leert ook over DVC-configuratie, zoals installatie, initialisatie van de repository en het .dvcignore-bestand. Je gaat DVC-cache- en stagingbestanden bekijken, leren hoe je bestanden toevoegt en verwijdert, caches beheert en de onderliggende mechanismen begrijpt. Je leert over DVC-remotes, het verschil tussen DVC en Git-remotes, hoe je remotes toevoegt, ze opsomt en aanpast. Je leert omgaan met remotes, data pushen en pullen, specifieke versies checken en data ophalen naar de cache.

<h2>Automatiseer en evalueer</h2>
Je gaat gemotiveerd aan de slag om ML-pijplijnen te automatiseren, waarbij je de nadruk legt op het modulair maken van code en het maken van een configuratiebestand. Je leert DVC-pijplijnen kennen als gerichte acyclische grafieken, en je krijgt de kans om zelf stages en hun inputs en outputs toe te voegen. Je gaat oefenen met het efficiënt uitvoeren van deze pijplijnen om verschillende toepassingen in machine learning-modeltraining mogelijk te maken. De cursus eindigt met een focus op evaluatie, waarbij wordt laten zien hoe statistieken en grafieken worden bijgehouden in DVC.

Supervised Learning with scikit-learn

Introduction to Git

Verken Data Version Control voor ML-beheer. Beheers setup, automatiseer pijplijnen, evalueer modellen.

Introductie tot dataversiebeheer met DVC

Check eens Data Version Control voor het beheren van ML-data. Zet je setup op, automatiseer je processen en evalueer je modellen zonder gedoe.

Doel van DVC-remotes

Introductie tot dataversiebeheer met DVC

Interactieve oefening met praktijkervaring