Tato kapitola poskytuje ucelený úvod do DVC (Data Version Control) – nástroje klíčového pro verzování dat ve strojovém učení. Prozkoumáš motivaci za verzováním dat, pochopíš, čím se liší od verzování kódu, a vyzkušíš si jednoduchý klasifikační problém. Zopakuješ si základní příkazy Gitu, seznámíš se s DVC a procvičíš si nastavení repozitáře. Kapitola končí přehledem funkcí a případů použití DVC – od verzování dat a modelů přes CI/CD pro strojové učení až po sledování experimentů, pipeline a další možnosti.

Motivace pro verzování dat

Anatomie modelu strojového učení

Rozdíly mezi verzováním dat a verzováním kódu

Porozumění hyperparametrům

Úvod do DVC

Práce s Git CLI

Přehled DVC CLI

Funkce a možnosti využití DVC

Pipelines v DVC

CI/CD pro machine learning

Tato kapitola se věnuje nastavení DVC – zahrnuje instalaci, inicializaci repozitáře a práci se souborem .dvcignore. Dále prozkoumáš DVC cache a práci se soubory ve staging oblasti: naučíš se přidávat a odebírat soubory, spravovat cache a porozumíš tomu, jak vše funguje pod kapotou pomocí MD5 hashe. Kapitola také vysvětluje DVC vzdálená úložiště, jejich rozdíl od Git remote, a provede tě jejich přidáváním, výpisem a úpravou. Na závěr se naučíš pracovat s těmito úložišti – odesílat a stahovat data, přepínat na konkrétní verze a načítat data do cache.

Nastavení a inicializace DVC

#!/bin/bash

# Initialize DVC in the workspace
dvc init

# Check DVC version
dvc version

# Commit the changes using Git
git add .
git commit -m "initial commit"

Nastavení DVC

# Add patterns of files dvc should ignore, which could improve
# the performance. Learn more at
# https://dvc.org/doc/user-guide/dvcignore

# Ignore all files in the 'dataset' directory
dataset/____

# But don't ignore 'dataset/myData.csv'
!dataset/____

# Ignore all .json files
____

#!/bin/bash

# Check if JSON files are actually ignored in dvcignore
dvc check-ignore -d

# Add patterns of files dvc should ignore, which could improve
# the performance. Learn more at
# https://dvc.org/doc/user-guide/dvcignore

# Ignore all files in the 'dataset' directory
dataset/*

# But don't ignore 'dataset/myData.csv'
!dataset/myData.csv

# Ignore all .json files
*.json

.dvcignore vzory

DVC cache a soubory ve staging oblasti

#!/bin/bash

# Add dataset to DVC
dvc add dataset.csv

# Check DVC cache is populated
find .dvc/cache -type f

# Unstage the metadata file
dvc remove dataset.csv.dvc

# Clean the cache
dvc gc -w


Práce s DVC cache

Porozumění souborům .dvc

Konfigurace DVC vzdálených úložišť

Účel DVC remotes

#!/bin/bash

# Set up a local DVC remote
dvc remote add --local localremote /tmp/dvc

# List the DVC remotes
dvc remote list

# Modify the existing remote to a new location `/tmp/dvc-new`
dvc remote modify --local localremote url /tmp/dvc-new

# List the local remotes again
dvc remote list

Nastavení DVC remote

Práce s DVC remotes

#!/bin/bash

# Add the `dataset.csv` to DVC cache.
dvc add dataset.csv

# Commit the corresponding `.dvc` file to Git
git commit -m "tracking dataset.csv"

# Push the dataset to the DVC remote
dvc push

# Run pull command
dvc pull

Verzování dat pomocí DVC Remote

#!/bin/bash

# Inspect the Git commit history
git log

# File MD5 value
md5sum dataset.csv

# Roll back the changes made to the dataset metadata file by one commit
git reset --hard HEAD~1
# Alternatively
git revert

# Update the dataset
dvc checkout

Přepínání mezi verzemi dat

Konfigurace DVC a správa dat

Tato kapitola se zaměřuje na automatizaci ML pipeline pomocí DVC. Vytvoříš konfigurační soubor s nastaveními a hyperparametry. Naučíš se také vizualizovat pipeline pomocí acyklických orientovaných grafů a používat příkazy pro popis závislostí, příkazů a výstupů. Probereme spouštění DVC pipeline, včetně lokálního trénování modelů a toho, jak Git sleduje metadata DVC. Navíc prozkoumáš sledování metrik a grafů v DVC – jak metriky vypisovat, vytvářet soubory s grafy a porovnávat metriky i grafy napříč různými fázemi pipeline.

Organizace kódu a refaktoring

Práce se soubory parametrů v DVC

Vytvoření souboru s parametry

Tvorba a vizualizace DVC pipeline

Návrh DVC pipeline

Vizualizace DVC pipeline

Spouštění DVC pipeline

Principy spouštění DVC pipeline

Spuštění tréninkového pipeline pro ML model

Vyhodnocení: metriky a grafy v DVC

Sledování metrik v DVC

Přidávání grafů do dvc.yaml

Gratulujeme!

Pipeline v DVC

Ponoř se do světa DVC (Data Version Control) – nástroje pro správu a verzování dat v oblasti strojového učení. Prozkoumej jeho roli v životním cyklu ML, pochop rozdíl mezi verzováním dat a verzováním kódu a podívej se na funkce a případy použití DVC. Nauč se, jak DVC nastavit, včetně správy cache a vzdálených úložišť, a zjisti, jak ho využít v CI/CD, sledování experimentů a pipeline. Automatizuj ML pipeline s důrazem na modularizaci kódu a nauč se je efektivně spouštět. Kapitolu zakončíme vyhodnocením modelů a sledováním metrik v DVC pro informované rozhodování.


Tento kurz nabízí komplexní úvod do Data Version Control (DVC), nástroje navrženého pro efektivní správu a verzování dat pro strojové učení. Získáš přehled o životním cyklu produktů strojového učení, porozumíš rozdílu mezi verzováním dat a verzováním kódu a prozkoumáš funkce a možnosti využití DVC.

<h2>Prozkoumávání funkcí DVC</h2>
Pochopíte motivace za verzováním dat, životní cyklus strojového učení a jedinečné funkce a případy použití DVC. Naučíte se také o nastavení DVC, včetně instalace, inicializace repozitáře a souboru .dvcignore. Prozkoumáte mezipaměť DVC a staging soubory, naučíte se přidávat a odebírat soubory, spravovat mezipaměti a porozumíte základním mechanismům, které za tím stojí. Dozvíte se o vzdálených úložištích DVC, vysvětlíte rozdíl mezi vzdálenými úložišti DVC a Git, přidáte vzdálená úložiště, vypíšete je a upravíte je. Naučíte se pracovat s vzdálenými repozitáři, odesílat a stahovat data, přepínat na konkrétní verze a načítat data do mezipaměti.

<h2>Automatizujte a vyhodnocujte</h2>
Budete motivováni automatizovat ML pipeline s důrazem na modularizaci kódu a vytvoření konfiguračního souboru. Seznámíte se s pipeline DVC jako s orientovanými acyklickými grafy a získáte praktické zkušenosti s přidáváním fází a jejich vstupů a výstupů. Budete si procvičovat efektivní spouštění těchto pipeline, abyste umožnili různé případy použití při trénování modelů strojového učení. Kurz končí zaměřením na vyhodnocování a ukazuje, jak se v DVC sledují metriky a grafy.

Supervised Learning with scikit-learn

Introduction to Git

Prozkoumejte Data Version Control pro správu ML dat. Nastavte, automatizujte a hodnoťte modely.

Úvod do verzování dat s DVC

Prozkoumejte Data Version Control pro správu ML dat. Zvládněte nastavení, automatizujte pipeline a bez problémů vyhodnocujte modely.

DVC cache a soubory ve staging oblasti

Create Your Free Account