V první kapitole se dozvíš, proč firmy potřebují monitorovat své modely strojového učení v produkci. Naučíš se, jak vypadá ideální monitorovací workflow a jaké kroky zahrnuje, a také se seznámíš s výzvami, se kterými se monitorovací systémy v produkci běžně potýkají.

Proč je důležité monitorovat svůj model

Proč modely selhávají?

Přínosy monitorovacích systémů

Ideální postup při monitorování

Proč je důležité sledovat KPI

Ideální monitorovací workflow

Monitorovací workflow v praxi

Výzvy při monitorování ML modelů

Zpožděná ground truth

Covariate shift vs. concept drift

Co je monitorování ML

Ve druhé kapitole objevíš, proč je monitorování výkonu tak zásadní součástí spolehlivého monitorovacího systému. Zaměříme se na typické výzvy reálných produkčních prostředí, jako je dostupnost ground truth. Na konci kapitoly budeš vědět, jak postupovat v situacích, kdy jsou data ground truth zpožděná nebo zcela nedostupná – pomocí algoritmů pro odhad výkonu.

Přímé monitorování technického výkonu

Proč začít výkonností?

Různé typy posunu kovariát

Dostupnost ground truth

Je odhadování výkonu nutné?

Monitorování výkonu v produkci

Odhadování výkonu

Úvahy o CBPE

Odhad výkonu v produkčním prostředí

Algoritmy pro odhad výkonu

Teoretické koncepty monitorování

Teď, když znáš základy kovariantního posunu a konceptového driftu v produkci, pojďme se ponořit trochu hlouběji. Na konci této kapitoly budeš znát různé způsoby, jak je detekovat a zvládat v reálných scénářích.

Co je kovariantní posun?

Prohozené příznaky

Metoda detekce driftu

Jak detekovat kovariantní posun

Jemné změny

Možnosti

Pravda

Nepravda

Různé metody

Co je concept drift?

Typ concept driftu

Interakce posunu konceptu a kovariantního posunu

Jak řešit concept drift?

Adaptace v reálném čase

Detekce a řešení concept driftu

Shrnutí

Detekce kovariantního posunu a konceptového driftu

Aby byly modely strojového učení dlouhodobě úspěšné, je klíčové vědět, jak je efektivně monitorovat v produkčním prostředí. S tím, jak se strojové učení stále více prosazuje ve světě byznysu, nabývá na důležitosti také datová věda zaměřená na období po nasazení modelu. Tento kurz pokrývá všechny základní koncepty monitorování systémů strojového učení v produkci – s cílem udržet obchodní hodnotu, snížit riziko selhání a zvýšit přehlednost.

<h2> Koncepty monitorování strojového učení</h2>
Modely strojového učení ovlivňují stále více rozhodnutí v reálném světě. Tyto modely je třeba monitorovat, aby se předešlo selhání a zajistilo se, že vaší společnosti přinášejí obchodní hodnotu. Tento kurz vás seznámí se základními koncepty vytváření robustního monitorovacího systému pro vaše modely v produkci.
<br><br>
<h2>Objevte ideální pracovní postup monitorování</h2>
Kurz začíná plánem, kde začít s monitoringem v produkci a jak kolem něj strukturovat procesy. Projdeme si základní pracovní postup a ukážeme vám, jak odhalit problémy, identifikovat jejich hlavní příčiny a vyřešit je na reálných příkladech.
<br><br>
<h2>Prozkoumejte výzvy monitorování modelů v produkci</h2>
Nasazení modelu do produkčního prostředí je teprve začátek životního cyklu modelu. I když během vývoje funguje dobře, může selhat kvůli neustále se měnícím produkčním datům. V tomto kurzu prozkoumáš obtíže při sledování výkonu modelu, zejména když neexistuje žádná skutečná hodnota.
<br><br>
<h2> Pochopte do hloubky kovariátní posun a koncept driftu</h2>
Poslední část tohoto kurzu se zaměří na dva typy tichého selhání modelu. Podrobně pochopíte různé druhy posunů kovariát a driftu konceptu, jejich vliv na výkon modelu a také to, jak je detekovat a předcházet jim.

MLOps Concepts

Supervised Learning with scikit-learn

Zjistěte o výzvách sledování ML modelů v praxi, včetně driftu dat a metod řešení degradace modelu.

Monitoring Machine Learning Concepts

Seznamte se s výzvami monitorování machine learning modelů v produkci, včetně data a concept drift, a s metodami řešení degradace modelu.

Inženýr strojového učení

Strojové učení v produkci v Pythonu

Metoda multivariátní detekce driftu měří změny v sdružené distribuci, aby identifikovala kovariantní posun

Jensen-Shannonova vzdálenost měří podobnost pomocí KL divergence

Kolmogorov-Smirnovova metoda může generovat falešně pozitivní upozornění

Chi-kvadrát test a metoda L-infinity fungují jak pro spojité, tak pro kategorické příznaky

Algoritmus PCA používaný při multivariátní detekci driftu rozšiřuje data do vyšší dimenze pro lepší analýzu

Různé metody

Monitoring Machine Learning Concepts

Interaktivní praktické cvičení