Návrh DVC pipeline

Návrh DVC pipeline, neboli DAG, je základním krokem pro využití DVC v tvých ML workflow. DAG umožňují zachytit vstupy, výstupy a způsob spuštění každého kroku. Výstupy jednoho kroku mohou sloužit jako vstup pro jeden nebo více dalších kroků, čímž se přirozeně nastavují správné závislosti mezi nimi.

V tomto cvičení se zaměříš na návrh ML workflow, které obsahuje čtyři fáze:

Předzpracování dat (preprocess_stage)
Rozdělení dat (split_stage)
Trénování modelu (train_stage)
Vyhodnocení modelu (evaluate_stage)

Budeme pracovat výhradně s příkazy dvc stage add. V případě potřeby se posuň na konec souboru se shellovým skriptem (dvc_dag_stages_add.sh).

Toto cvičení je součástí kurzu

Úvod do verzování dat s DVC

Zobrazit kurz

Interaktivní praktické cvičení

Proměňte teorii v praxi s jedním z našich interaktivních cvičení

Začít cvičení

Toto cvičení je součástí kurzu

Úvod do verzování dat s DVC

SkillTag.level.intermediateSkillTag.label

4.8+

401 reviews

Začněte kurz zdarma

Tato kapitola poskytuje ucelený úvod do DVC (Data Version Control) – nástroje klíčového pro verzování dat ve strojovém učení. Prozkoumáš motivaci za verzováním dat, pochopíš, čím se liší od verzování kódu, a vyzkušíš si jednoduchý klasifikační problém. Zopakuješ si základní příkazy Gitu, seznámíš se s DVC a procvičíš si nastavení repozitáře. Kapitola končí přehledem funkcí a případů použití DVC – od verzování dat a modelů přes CI/CD pro strojové učení až po sledování experimentů, pipeline a další možnosti.

Exercise 1: Motivace pro verzování dat Exercise 2: Anatomie modelu strojového učení Exercise 3: Rozdíly mezi verzováním dat a verzováním kódu Exercise 4: Porozumění hyperparametrům Exercise 5: Úvod do DVC Exercise 6: Práce s Git CLI Exercise 7: Přehled DVC CLI Exercise 8: Funkce a možnosti využití DVC Exercise 9: Pipelines v DVC Exercise 10: CI/CD pro machine learning

Tato kapitola se věnuje nastavení DVC – zahrnuje instalaci, inicializaci repozitáře a práci se souborem .dvcignore. Dále prozkoumáš DVC cache a práci se soubory ve staging oblasti: naučíš se přidávat a odebírat soubory, spravovat cache a porozumíš tomu, jak vše funguje pod kapotou pomocí MD5 hashe. Kapitola také vysvětluje DVC vzdálená úložiště, jejich rozdíl od Git remote, a provede tě jejich přidáváním, výpisem a úpravou. Na závěr se naučíš pracovat s těmito úložišti – odesílat a stahovat data, přepínat na konkrétní verze a načítat data do cache.

Exercise 1: Nastavení a inicializace DVC Exercise 2: Nastavení DVC Exercise 3: .dvcignore vzory Exercise 4: DVC cache a soubory ve staging oblasti Exercise 5: Práce s DVC cache Exercise 6: Porozumění souborům .dvc Exercise 7: Konfigurace DVC vzdálených úložišť Exercise 8: Účel DVC remotes Exercise 9: Nastavení DVC remote Exercise 10: Práce s DVC remotes Exercise 11: Verzování dat pomocí DVC Remote Exercise 12: Přepínání mezi verzemi dat

Tato kapitola se zaměřuje na automatizaci ML pipeline pomocí DVC. Vytvoříš konfigurační soubor s nastaveními a hyperparametry. Naučíš se také vizualizovat pipeline pomocí acyklických orientovaných grafů a používat příkazy pro popis závislostí, příkazů a výstupů. Probereme spouštění DVC pipeline, včetně lokálního trénování modelů a toho, jak Git sleduje metadata DVC. Navíc prozkoumáš sledování metrik a grafů v DVC – jak metriky vypisovat, vytvářet soubory s grafy a porovnávat metriky i grafy napříč různými fázemi pipeline.

Exercise 1: Organizace kódu a refaktoring Exercise 2: Práce se soubory parametrů v DVC Exercise 3: Vytvoření souboru s parametry Exercise 4: Tvorba a vizualizace DVC pipeline Exercise 5: Návrh DVC pipeline

Aktuální cvičení

Exercise 6: Vizualizace DVC pipeline Exercise 7: Spouštění DVC pipeline Exercise 8: Principy spouštění DVC pipeline Exercise 9: Spuštění tréninkového pipeline pro ML model Exercise 10: Vyhodnocení: metriky a grafy v DVC Exercise 11: Sledování metrik v DVC Exercise 12: Přidávání grafů do dvc.yaml Exercise 13: Gratulujeme!