Principy spouštění DVC pipeline

DVC pipeline zefektivňují workflow strojového učení – umožňují efektivní verzování, sledování a ukládání dat i kódu do cache. Znalost toho, jak se pipeline spouštějí, ti pomůže navrhovat efektivní pracovní procesy. V tomto cvičení si ověříš, jak rozumíš tomu, jak DVC spouští reprodukovatelné pipeline.

Toto cvičení je součástí kurzu

Úvod do verzování dat s DVC

Zobrazit kurz

Interaktivní praktické cvičení

Proměňte teorii v praxi s jedním z našich interaktivních cvičení

Začít cvičení

Toto cvičení je součástí kurzu

Úvod do verzování dat s DVC

SkillTag.level.intermediateSkillTag.label

4.8+

401 reviews

Začněte kurz zdarma

Tato kapitola poskytuje ucelený úvod do DVC (Data Version Control) – nástroje klíčového pro verzování dat ve strojovém učení. Prozkoumáš motivaci za verzováním dat, pochopíš, čím se liší od verzování kódu, a vyzkušíš si jednoduchý klasifikační problém. Zopakuješ si základní příkazy Gitu, seznámíš se s DVC a procvičíš si nastavení repozitáře. Kapitola končí přehledem funkcí a případů použití DVC – od verzování dat a modelů přes CI/CD pro strojové učení až po sledování experimentů, pipeline a další možnosti.

Exercise 1: Motivace pro verzování dat Exercise 2: Anatomie modelu strojového učení Exercise 3: Rozdíly mezi verzováním dat a verzováním kódu Exercise 4: Porozumění hyperparametrům Exercise 5: Úvod do DVC Exercise 6: Práce s Git CLI Exercise 7: Přehled DVC CLI Exercise 8: Funkce a možnosti využití DVC Exercise 9: Pipelines v DVC Exercise 10: CI/CD pro machine learning

Tato kapitola se věnuje nastavení DVC – zahrnuje instalaci, inicializaci repozitáře a práci se souborem .dvcignore. Dále prozkoumáš DVC cache a práci se soubory ve staging oblasti: naučíš se přidávat a odebírat soubory, spravovat cache a porozumíš tomu, jak vše funguje pod kapotou pomocí MD5 hashe. Kapitola také vysvětluje DVC vzdálená úložiště, jejich rozdíl od Git remote, a provede tě jejich přidáváním, výpisem a úpravou. Na závěr se naučíš pracovat s těmito úložišti – odesílat a stahovat data, přepínat na konkrétní verze a načítat data do cache.

Exercise 1: Nastavení a inicializace DVC Exercise 2: Nastavení DVC Exercise 3: .dvcignore vzory Exercise 4: DVC cache a soubory ve staging oblasti Exercise 5: Práce s DVC cache Exercise 6: Porozumění souborům .dvc Exercise 7: Konfigurace DVC vzdálených úložišť Exercise 8: Účel DVC remotes Exercise 9: Nastavení DVC remote Exercise 10: Práce s DVC remotes Exercise 11: Verzování dat pomocí DVC Remote Exercise 12: Přepínání mezi verzemi dat

Tato kapitola se zaměřuje na automatizaci ML pipeline pomocí DVC. Vytvoříš konfigurační soubor s nastaveními a hyperparametry. Naučíš se také vizualizovat pipeline pomocí acyklických orientovaných grafů a používat příkazy pro popis závislostí, příkazů a výstupů. Probereme spouštění DVC pipeline, včetně lokálního trénování modelů a toho, jak Git sleduje metadata DVC. Navíc prozkoumáš sledování metrik a grafů v DVC – jak metriky vypisovat, vytvářet soubory s grafy a porovnávat metriky i grafy napříč různými fázemi pipeline.

Exercise 1: Organizace kódu a refaktoring Exercise 2: Práce se soubory parametrů v DVC Exercise 3: Vytvoření souboru s parametry Exercise 4: Tvorba a vizualizace DVC pipeline Exercise 5: Návrh DVC pipeline Exercise 6: Vizualizace DVC pipeline Exercise 7: Spouštění DVC pipeline Exercise 8: Principy spouštění DVC pipeline

Aktuální cvičení

Exercise 9: Spuštění tréninkového pipeline pro ML model Exercise 10: Vyhodnocení: metriky a grafy v DVC Exercise 11: Sledování metrik v DVC Exercise 12: Přidávání grafů do dvc.yaml Exercise 13: Gratulujeme!