Vytvoření DVC pipeline

Představ si jednoduchý příklad workflow, kde se dokument nejprve vytiskne a poté naskenuje, aby vznikl podepsaný PDF soubor – přičemž DVC spravuje závislosti a výstupy každé fáze.

Fáze print závisí na tiskových instrukcích uvedených v print.sh a produkuje výstup pages. Fáze scan závisí na instrukcích v scan.sh a na pages (výstupu fáze print) a produkuje výstup signed.pdf.

Tvým úkolem je navrhnout DVC pipeline popisující tento workflow pomocí příkazu dvc stage add. Jeho syntaxe je následující:

dvc stage add -n <stage_name> -d <dependency> -o <output> <command>

Více závislostí a výstupů můžeš přidat opakovaným použitím příznaků -d a -o.

POZNÁMKA: DVC už bylo inicializováno během nastavení cvičení. Příkaz dvc init není třeba spouštět znovu.

Toto cvičení je součástí kurzu

CI/CD pro Machine Learning

Interaktivní praktické cvičení

Proměňte teorii v praxi s jedním z našich interaktivních cvičení

Začít cvičení

Toto cvičení je součástí kurzu

CI/CD pro Machine Learning

SkillTag.level.advancedSkillTag.label

4.8+

Začněte kurz zdarma

V této kapitole prozkoumáš základní principy Continuous Integration/Continuous Delivery (CI/CD) a YAML. Pochopíš životní cyklus vývoje softwaru a klíčové pojmy jako build, test a deploy. Objevíš rozdíly mezi Continuous Integration, Continuous Delivery a Continuous Deployment a zjistíš, jak důležitou roli hraje CI/CD ve strojovém učení a experimentování.

Exercise 1: Úvod do Continuous Integration/Continuous Delivery pro Machine Learning Exercise 2: Continuous deployment a continuous delivery Exercise 3: Pracovní postup při strojovém učení Exercise 4: Úvod do YAML Exercise 5: Syntaxe YAML Exercise 6: YAML mapování a sekvence Exercise 7: Úvod do GitHub Actions Exercise 8: K čemu slouží GitHub Actions Exercise 9: Anatomie GitHub Actions

Připrav se na průzkum GitHub Actions (GHA) – vlivné platformy pro spouštění CI/CD workflows. Odkryješ různé komponenty GHA, včetně událostí, akcí, jobů, kroků, runnerů a kontextu. Naučíš se vytvářet workflows, které se spouštějí na události jako push a pull requesty, a přizpůsobovat runner machines. Prakticky si vyzkoušíš nastavení základních CI pipeline a porozumíš detailům GHA logu.

Exercise 1: Intermediate YAML Exercise 2: Najdi správnou kombinaci Exercise 3: Návrh workflow pro Continuous Integration Exercise 4: Nastavení základního CI pipeline Exercise 5: Interpretace workflow GitHub Actions Exercise 6: Vytvoř workflow pro GitHub Actions Exercise 7: Spuštění kódu z repozitáře Exercise 8: Feature branches ve sdíleném repozitáři Exercise 9: Spouštění Python kódu v GitHub Actions Exercise 10: Proměnné prostředí a tajné klíče Exercise 11: Co je GITHUB_TOKEN?Exercise 12: Práce s proměnnými prostředí Exercise 13: Práce se secrets

V této kapitole prozkoumáš, jak integrovat trénování modelu strojového učení do pipeline GitHub Actions pomocí Continuous Machine Learning GitHub Action. Vygeneruješ podrobnou markdown zprávu obsahující metriky modelu a grafy. Zároveň se ponoříš do verzování dat ve strojovém učení – přijmeš Data Version Control (DVC) pro sledování změn v datech. Kapitola také pokryje nastavení DVC remote úložišť a přenosy datasetů. Na závěr prozkoumáš DVC pipelines a naučíš se konfigurovat DVC YAML soubor pro řízení reprodukovatelného trénování modelů.

Exercise 1: Trénování modelů s GitHub Actions Exercise 2: Vytvoření klasifikačního modelu Exercise 3: Trénování klasifikačního modelu Exercise 4: Nastavení trénování modelu pomocí CML Exercise 5: Správa verzí datasetů pomocí Data Version Control Exercise 6: K čemu slouží soubory .dvc?Exercise 7: Verzování dat v praxi Exercise 8: Práce s DVC remotes Exercise 9: Výhody DVC remotů Exercise 10: DVC remotes v praxi Exercise 11: DVC Pipelines Exercise 12: Vytvoření DVC pipeline

Aktuální cvičení

Exercise 13: Trénování ML modelů s DVC

V této kapitole se zaměříš na analýzu výkonu modelu a ladění hyperparametrů. Získáš praktické dovednosti v porovnávání metrik a vizualizací napříč různými větvemi, abys dokázal/a posoudit změny ve výkonu modelu. Naučíš se provádět ladění hyperparametrů pomocí `GridSearchCV` ze scikit-learn. Navíc prozkoumáš automatizaci pull requestů s optimální konfigurací modelu.

Exercise 1: Porovnávání metrik a grafů v DVC Exercise 2: Přidání metrik a grafů do dvc.yaml Exercise 3: Porovnání metrik napříč větvemi Gitu Exercise 4: Spuštění DVC pipeline v GitHub Actions Exercise 5: Ladění hyperparametrů pomocí DVC Exercise 6: Přidání ladění hyperparametrů do dvc.yaml Exercise 7: Spouštění DVC pipeline pro ladění hyperparametrů Exercise 8: Workflow GitHub Actions pro ladění hyperparametrů Exercise 9: Volné provázání Exercise 10: Nastavení ladění hyperparametrů v GitHub Actions Exercise 11: Gratulujeme!