V této kapitole se seznámíš s knihovnou NannyML a jejími základními funkcemi. Nejprve se naučíš, jak připravit surová data a vytvořit referenční a analytické sady připravené pro produkční monitorování. Jako praktický příklad se podíváš na predikci výše spropitného pro taxi jízdy v New Yorku. Na závěr kapitoly také zjistíš, jak pomocí NannyML odhadnout výkon modelu pro predikci spropitného.

Co je NannyML?

Klíčové funkce NannyML

Načtení datasetu

Příprava dat pro NannyML

Možnosti

Referenční období 

Analytické období

Referenční, nebo analytické období?

Načítání a rozdělení dat

Vytvoření referenční a analytické sady

Odhad výkonu modelu

Urči algoritmus a typ problému

Interpretace výsledků

Odhad výkonnosti

Postup CBPE a DLE

Odhad výkonu pro predikci spropitného

Příprava dat a odhad výkonu

V této kapitole se seznámíš s kalkulátory realizovaného výkonu, které se používají, když jsou k dispozici skutečné výsledky (ground truth). Naučíš se pokročilejší metody práce s výsledky – filtrování, vizualizaci, převod do datových rámců, dělení na úseky a nastavení vlastních prahových hodnot. Na závěr toto všechno využiješ k výpočtu obchodní hodnoty modelu trénovaného na datasetu hotelových rezervací.

Když jsou k dispozici štítky

Kdy odhad výkonnosti selhává

Porovnání odhadovaného a realizovaného výkonu

Práce s vypočítanými a odhadovanými výsledky

Různé metody dělení na chunky

Úprava prahových hodnot

Práce s výsledky

Výpočet a odhad obchodní hodnoty

Výpočet obchodní hodnoty

Pokles v peněžní hodnotě

Výpočet business value pro dataset hotelových rezervací

Monitorování výkonu a obchodní hodnoty

Po odhalení poklesu výkonu modelu hotelových rezervací se naučíš, jak identifikovat příčinu daného problému. V této kapitole se seznámíš s metodami detekce multivariátního a univariátního driftu. Dozvíš se také, jak odhalit problémy s kvalitou dat a jak řešit zjištěné příčiny.

Multivariátní detekce driftu

Identifikace relevantních driftů

Drift v datasetu hotelových rezervací

Univariátní detekce driftu

Univariátní detekce driftu pro dataset rezervací hotelu

Seřazení univariátních výsledků

Vizualizace příznaků s driftem

Kontrola kvality dat a statistik

Kontrola kvality dat

Souhrnné statistiky

Řešení problémů

Jak to vyřešit?

Nechat to být, nebo ne?

Implementace monitorovacího workflow

Gratulujeme!

Analýza příčin a řešení problémů

Hotel Booking Reference Dataset

Hotel Booking Analysis Dataset

Green Taxi Dataset

Monitorování modelů strojového učení je klíčem k dlouhodobému úspěchu tvých projektů. Může být sice složité, ale existují pythonové balíčky, které ti pomůžou pochopit, jak si modely vedou, jaká data se změnila a co stojí za případným poklesem výkonu – a navedou tě, jak vše dostat zpět do správných kolejí. Tento kurz tě provede vším, co potřebuješ k sestavení základního monitorovacího systému v Pythonu pomocí oblíbeného balíčku NannyML.


<h2>Naučte se monitorovat své ML modely v Pythonu</h2>

Monitorování modelů strojového učení zajišťuje dlouhodobý úspěch vašich projektů strojového učení. Monitoring může být velmi složité, nicméně existují balíčky Pythonu, které nám pomohou pochopit, jak si naše modely vedou, jaká data se změnila a mohla vést k poklesu výkonu, a poskytnou nám vodítka, co musíme udělat, abychom naše modely dostali zpět na správnou cestu. Tento kurz pokrývá vše, co potřebuješ vědět k vytvoření základního monitorovacího systému v Pythonu pomocí oblíbeného balíčku pro monitoring, nannyml.

<h2>Pochopte optimální pracovní postup monitorování</h2>

Monitorování modelu není jen o pouhém výpočtu výkonu modelu v produkci. Bohužel to není tak jednoduché. Zvlášť když je těžké je sehnat. Tento kurz vás naučí, jaký je optimální pracovní postup monitorování. Zajistí, že vždy zachytíte selhání modelu, vyhnete se únavě z upozornění a rychle se dostanete k hlavní příčině problému.

<h2>Naučte se, jak najít hlavní příčinu problémů s výkonem modelu</h2>

Další důležitou součástí monitorování modelu je analýza hlavní příčiny. Tento kurz se ponoří do toho, jak používat techniky detekce driftu dat k odhalení hlavní příčiny problémů s výkonem modelu. Naučíte se používat techniky detekce datového driftu jak pro jednorozměrná, tak pro vícerozměrná data, abyste odhalili možné hlavní příčiny problémů modelu.



Monitoring Machine Learning Concepts

Kurz pokrývá vše potřebné k vytvoření základního systému monitorování strojového učení v Pythonu.

Monitoring Machine Learning in Python

Tento kurz pokrývá vše, co potřebuješ vědět k vytvoření základního monitorovacího systému strojového učení v Pythonu

Inženýr strojového učení

Strojové učení v produkci v Pythonu

Vyžaduje skutečné hodnoty (ground truth)

Skutečné hodnoty (ground truth) jsou volitelné

Využívá poznatky získané z předchozí sady

Vzniká z nejnovějších vstupních dat a predikcí modelu

Referenční, nebo analytické období?

Monitoring Machine Learning in Python

Interaktivní praktické cvičení