Testování modelu strojového učení

Při vývoji ML aplikace a modelu vznikne celá sada testů – unit testy, integrační testy, zátěžové, stresové i deployment testy.

Pokud ještě neznáš všechny tyto typy, nevadí – existuje spousta skvělých zdrojů, kde se je můžeš naučit.

Nejdůležitější je ale pamatovat si klíčový důvod, proč je vůbec psát:

Toto cvičení je součástí kurzu

MLOps: nasazení a životní cyklus modelů

Interaktivní praktické cvičení

Proměňte teorii v praxi s jedním z našich interaktivních cvičení

Začít cvičení

Toto cvičení je součástí kurzu

MLOps: nasazení a životní cyklus modelů

SkillTag.level.advancedSkillTag.label

4.8+

Začněte kurz zdarma

Tato kapitola poskytuje přehled principů MLOps a klíčových komponent frameworku důležitých pro nasazení a správu životního cyklu modelů.

Exercise 1: Moderní MLOps framework Exercise 2: ML workflows Exercise 3: Přínosy MLOps Exercise 4: Fáze životního cyklu Exercise 5: Aplikace vs. model Exercise 6: Vyřazení z provozu Exercise 7: Životní cyklus modelu: rekapitulace Exercise 8: Komponenty MLOps Exercise 9: Automatizovaná posloupnost Exercise 10: Úložiště a registry Exercise 11: DevOps, nebo MLOps?

Tato kapitola se věnuje všem aspektům, které je třeba zvážit už ve fázi vývoje, aby byl přechod do provozu co nejplynulejší. Naším hlavním cílem je vysvětlit, jak trénovat model s využitím osvědčených MLOps postupů a sestavit balíček modelu, který umožňuje hladké nasazení, reprodukovatelnost a monitorování po nasazení.

Exercise 1: Vývoj zaměřený na nasazení Exercise 2: Testování modelu strojového učení

Aktuální cvičení

Exercise 3: Nejlepší čas začít s nasazením Exercise 4: Profilování, verzování a feature stores Exercise 5: Vlastnosti feature store Exercise 6: Výhody profilování dat a feature store Exercise 7: Zajištění reprodukovatelnosti Exercise 8: Sestavení modelu v CI/CD pipeline Exercise 9: Různé pipeline Exercise 10: Vlastnosti build pipeline modelu Exercise 11: Integrace CI/CD Exercise 12: Balení modelu Exercise 13: Formáty modelů Exercise 14: Kompletní balíček

Tato kapitola se zabývá zásadními otázkami provozu modelů, jako jsou: - Jaké existují způsoby nasazování modelů? - Co je API a jaké jsou jeho klíčové funkce? - Jak důkladně otestovat službu před zpřístupněním koncovým uživatelům? - Jak aktualizovat modely v produkci bez výpadku služby? Dozvíš se o dávkové predikci, predikci v reálném čase, validaci vstupních a výstupních dat, unit testování, integračním testování, canary nasazení a mnohem více.

Exercise 1: Způsoby nasazení modelu Exercise 2: Offline, nebo online?Exercise 3: Když na čase záleží – trochu Exercise 4: Tvorba API Exercise 5: Klient-server Exercise 6: Funkce API Exercise 7: Postup nasazení a testování Exercise 8: O jaký test jde?Exercise 9: Postup prostředími Exercise 10: Testy podle prostředí Exercise 11: Strategie nasazení modelu Exercise 12: Vhodná strategie nasazení Exercise 13: Pořadí podle rizika Exercise 14: Stín ve stínu

Tato závěrečná kapitola se věnuje monitorování a údržbě ML služeb po jejich nasazení a také správě modelů. Probereme klíčové koncepty, jako je latence ověřování, kovariantní posun, konceptový drift, systémy s člověkem ve smyčce a další.

Exercise 1: Monitoring ML služeb Exercise 2: Shift vs. drift Exercise 3: Latence Exercise 4: Už teď?Exercise 5: Monitorování a upozornění Exercise 6: Monitorovací systém Exercise 7: Alerting Exercise 8: Údržba modelu Exercise 9: Data-centrický vs. model-centrický přístup Exercise 10: Human-in-the-Loop Exercise 11: Správa modelů Exercise 12: Prvky governance Exercise 13: Fáze správy modelů Exercise 14: Klasifikace rizik Exercise 15: Závěr