This chapter provides a comprehensive introduction to Data Version Control (DVC), a tool essential for data versioning in machine learning. Learners will explore the motivation behind data versioning, understand its differences from code versioning, and experiment with a simple classification problem. They will review basic Git commands, learn about DVC, and practice setting up a repository. The chapter concludes with an overview of DVC’s features and use cases, including versioning data and models, CI/CD for machine learning, experiment tracking, pipelines, and more.

Motivatie voor data versioning

Anatomie van een Machine Learning-model

Verschillen tussen data- en codeversiebeheer

Hyperparameters begrijpen

Introductie tot DVC

def greet():
    print("Hello World!")

if __name__=="__main__":
    greet()

Werken met de Git-CLI

DVC CLI herhalen

DVC-functies en use-cases

DVC-pipelines

CI/CD voor machine learning

Introduction to DVC

This chapter delves into the setup of DVC, encompassing aspects such as installation, initialization of the repository, and the utilization of the .dvcignore file. It further navigates through the exploration of DVC cache and staging files, imparting knowledge on how to add and remove files, manage caches, and comprehend the underlying mechanisms using the MD5 hash. The chapter also elucidates on DVC remotes, distinguishing them from Git remotes, and guides you on how to add, list, and modify them. Lastly, it teaches you how to interact with these remotes by pushing and pulling data, checking out specific versions, and fetching data to the cache.

DVC Setup and Initialization

Setting up DVC

.dvcignore Patterns

DVC Cache and Staging Files

Working with DVC Cache

Understanding .dvc Files

Configuring DVC Remotes

Purpose of DVC Remotes

Setup a DVC Remote

Interacting with DVC Remotes

Versioning Data using DVC Remote

Checking out Versioned Data

DVC Configuration and Data Management

This chapter focuses on automating ML pipelines using DVC. Learners create a configuration file containing settings and hyperparameters. They also learn about pipeline visualization using directed acyclic graphs and use commands to describe dependencies, commands, and outputs. Execution of DVC pipelines is covered, including local model training and how Git tracks DVC metadata. Additionally, learners explore metrics and plots tracking in DVC, including how to print metrics, create plot files, and compare metrics and plots across different pipeline stages.

Code organization and refactoring

Understanding parameter files in DVC

Write a parameter file

Writing and visualizing DVC pipelines

Designing a DVC pipeline

Visualizing a DVC pipeline

Executing DVC pipelines

DVC pipeline execution concepts

Execute a ML model training pipeline

Evaluation: Metrics and plots in DVC

Tracking DVC Metrics

Adding plots to dvc.yaml

Congratulations!

Pipelines in DVC

Verdiep je in Data Version Control (DVC), een tool voor het beheren en versies bijhouden van ML-data. Ontdek de rol ervan in de ML-levenscyclus, het verschil tussen dataversiebeheer en codeversiebeheer, en bekijk de functies en use-cases van DVC. Leer hoe je DVC instelt, inclusief cachebeheer en remotes, en ontdek de toepassingen in CI/CD, experiment tracking en pipelines. Automatiseer ML-pipelines met nadruk op het modulair maken van code, en oefen met het efficiënt uitvoeren ervan. Sluit af met modelevaluatie en verken het bijhouden van metriek in DVC om gefundeerde beslissingen te nemen.



Deze cursus geeft je een uitgebreide introductie tot Data Version Control (DVC), een tool die is gemaakt om machine learning-data efficiënt te beheren en te versioneren. Je leert over de levenscyclus van machine learning-producten, het verschil tussen dataversies en codeversies, en je ontdekt de functies en toepassingen van DVC.

<h2>De functies van DVC ontdekken</h2>
Je leert de redenen achter dataversiebeheer, de levenscyclus van machine learning en de unieke functies en toepassingen van DVC. Je leert ook over DVC-configuratie, zoals installatie, initialisatie van de repository en het .dvcignore-bestand. Je gaat DVC-cache- en stagingbestanden bekijken, leren hoe je bestanden toevoegt en verwijdert, caches beheert en de onderliggende mechanismen begrijpt. Je leert over DVC-remotes, het verschil tussen DVC en Git-remotes, hoe je remotes toevoegt, ze opsomt en aanpast. Je leert omgaan met remotes, data pushen en pullen, specifieke versies checken en data ophalen naar de cache.

<h2>Automatiseer en evalueer</h2>
Je gaat gemotiveerd aan de slag om ML-pijplijnen te automatiseren, waarbij je de nadruk legt op het modulair maken van code en het maken van een configuratiebestand. Je leert DVC-pijplijnen kennen als gerichte acyclische grafieken, en je krijgt de kans om zelf stages en hun inputs en outputs toe te voegen. Je gaat oefenen met het efficiënt uitvoeren van deze pijplijnen om verschillende toepassingen in machine learning-modeltraining mogelijk te maken. De cursus eindigt met een focus op evaluatie, waarbij wordt laten zien hoe statistieken en grafieken worden bijgehouden in DVC.

Supervised Learning with scikit-learn

Introduction to Git

Verken Data Version Control voor ML-beheer. Beheers setup, automatiseer pijplijnen, evalueer modellen.

Introductie tot dataversiebeheer met DVC

Check eens Data Version Control voor het beheren van ML-data. Zet je setup op, automatiseer je processen en evalueer je modellen zonder gedoe.

Machine Learning Engineer

Machine learning in productie in Python

Verschillen tussen data- en codeversiebeheer

Introductie tot dataversiebeheer met DVC

Praktische interactieve oefening