Testování: data vs. model vs. pipeline

Skvělá práce na předchozích cvičeních! Než přejdeme k dalšímu videu, procvičíme si koncepty spojené s testováním MLOps systémů. Konkrétně si procvičíme rozlišování mezi:

datovými testy
testy modelů
testy pipelinů

Toto cvičení je součástí kurzu

Plně automatizované MLOps

Zobrazit kurz

Interaktivní praktické cvičení

Proměňte teorii v praxi s jedním z našich interaktivních cvičení

Začít cvičení

Toto cvičení je součástí kurzu

Plně automatizované MLOps

SkillTag.level.intermediateSkillTag.label

4.8+

339 reviews

Začněte kurz zdarma

V první kapitole si ukážeme, proč má MLOps smysl v průmyslovém prostředí. Dozvíš se, jak důležitou roli hraje při vytváření hodnoty pro firmy. Také si zopakuješ jednotlivé fáze ML a zaměříš se na to, jak je MLOps vylepšuje. Na konci kapitoly prozkoumáš referenční architekturu plně automatizovaného MLOps systému. Tato architektura ti poslouží jako výchozí bod pro zbytek kurzu a pomůže ti pochopit komponenty, které jsou pro každý MLOps systém zásadní.

Exercise 1: Úvod do plně automatizovaného MLOps Exercise 2: Skrytý technický dluh je třeba splatit Exercise 3: Skrytý technický dluh v ML je jiný Exercise 4: Fáze životního cyklu MLOps Exercise 5: Plně automatizovaný MLOps Exercise 6: Automatizovat, či neautomatizovat...Exercise 7: Stavět do velkého měřítka Exercise 8: Referenční architektura: plně automatizovaný MLOps Exercise 9: Referenční architektury v IT a MLOps Exercise 10: Komponenty architektury MLOps

V této kapitole budeš pokračovat v prozkoumávání klíčových komponent plně automatizovaného MLOps systému. Nejprve se podíváš na to, proč je orchestrace v MLOps tak důležitá a jak přispívá k efektivitě a škálovatelnosti ML pipeline. Poté prozkoumáš různé strategie nasazení v MLOps a naučíš se vybrat tu správnou pro svůj systém. Nakonec se seznámíš s CI/CD/CT/CM a zjistíš, jak tyto přístupy doplňují orchestraci a pomáhají dosáhnout plné automatizace v MLOps systémech. S těmito znalostmi budeš lépe připraven/a budovat plně automatizované MLOps systémy, které jsou efektivní, přesné a spolehlivé.

Exercise 1: Automatické sledování experimentů Exercise 2: Co bychom měli sledovat?Exercise 3: Velká debata o sledování experimentů: Na čí straně jsi?Exercise 4: Co vlastně sledujeme?Exercise 5: Model registry Exercise 6: Model se nepřehazuje přes plot!Exercise 7: Životní cyklus ML modelu Exercise 8: To je práce pro registr modelů!Exercise 9: Feature store v automatizované MLOps architektuře Exercise 10: Výhoda použití feature store Exercise 11: Role feature store Exercise 12: Úložiště metadat Exercise 13: Metadata v MLOps Exercise 14: Přetrénování modelu s využitím metadata store Exercise 15: Role metadata store při monitorování MLOps

V této kapitole se ponoříš do světa automatizace a naučíš se navrhovat odolnější a efektivnější ML systémy. Začneš základy automatizace v MLOps systémech a postupně přejdeš k návrhových vzorům a mechanismům zajišťujícím bezpečné selhání. Dozvíš se také, jak implementovat automatizované testování v MLOps systémech a jak pomocí ladění hyperparametrů optimalizovat modely i pracovní postupy. Na konci kapitoly budeš mít dovednosti a znalosti potřebné k budování a správě plně automatizovaných MLOps systémů, které jsou zároveň efektivní i spolehlivé.

Exercise 1: Úvod do plné automatizace a osvědčených postupů v MLOps Exercise 2: Automatizace v MLOps workflows Exercise 3: Úrovně automatizace v MLOps Exercise 4: Vzor automatizace, monitorování a reakce na incidenty Exercise 5: Je tohle návrhový vzor?Exercise 6: Přetrénování, rollback nebo imputace?Exercise 7: Automatizované testování v MLOps Exercise 8: Garbage in – Garbage out... Aplikuj datové testy!Exercise 9: Testování: tradiční přístup vs. MLOps Exercise 10: Testování: data vs. model vs. pipeline

Aktuální cvičení

Exercise 11: Automatické ladění hyperparametrů Exercise 12: Parametr, nebo hyperparametr?Exercise 13: Role ladění hyperparametrů v MLOps Exercise 14: Automatizace ladění hyperparametrů

V této závěrečné kapitole se podrobněji podíváš na klíčové komponenty automatizované MLOps architektury. Od automatizovaného sledování experimentů a registru modelů až po feature store a roli metadata store — tato kapitola ti poskytne ucelený přehled o fungování plně automatizovaného MLOps systému. Ať už máš s ML bohaté zkušenosti, nebo teprve začínáš, získáš znalosti a dovednosti potřebné k navrhování automatizovaných MLOps workflow.

Exercise 1: Orchestrace v MLOps Exercise 2: Proč modularizovat?Exercise 3: Orchestrace: vývoj vs. produkce Exercise 4: DAG v MLOps workflow Exercise 5: Aspekty orchestrace v MLOps Exercise 6: Automatizace v strategiích nasazení MLOps Exercise 7: O jaký typ nasazení se jedná?Exercise 8: Je toto ta správná strategie nasazení?Exercise 9: Nulový výpadek díky nasazení blue/green Exercise 10: CI/CD/CT/CM v plně automatizovaném MLOps Exercise 11: Jak CI/CD/CT/CM přispívají k MLOps?Exercise 12: Průběžné monitorování & průběžné trénování Exercise 13: CI/CD/CT/CM v MLOps Exercise 14: Shrnutí