Kdy odhad výkonnosti selhává

Představ si, že jsi datový vědec/datová vědkyně v bance a pracuješ na modelu pro predikci nesplacených úvěrů. Každý měsíc dostáváš labely, pomocí kterých ověřuješ model i algoritmus pro odhad výkonnosti. Během jednoho konkrétního měsíce zjistíš, že mnoho zákazníků s dobře placenou prací začíná častěji splácet úvěry se zpožděním – kvůli výraznému nárůstu inflace a s tím spojené krizi na trhu práce.

Když porovnáš odhadovanou a skutečnou výkonnost, všimneš si výrazného rozdílu mezi nimi.

Čím by mohl být způsoben tento problém s účinností algoritmu pro odhad výkonnosti?

Toto cvičení je součástí kurzu

Monitoring Machine Learning in Python

Zobrazit kurz

Interaktivní praktické cvičení

Proměňte teorii v praxi s jedním z našich interaktivních cvičení

Začít cvičení

Toto cvičení je součástí kurzu

Monitoring Machine Learning in Python

SkillTag.level.advancedSkillTag.label

4.8+

371 reviews

Začněte kurz zdarma

V této kapitole se seznámíš s knihovnou NannyML a jejími základními funkcemi. Nejprve se naučíš, jak připravit surová data a vytvořit referenční a analytické sady připravené pro produkční monitorování. Jako praktický příklad se podíváš na predikci výše spropitného pro taxi jízdy v New Yorku. Na závěr kapitoly také zjistíš, jak pomocí NannyML odhadnout výkon modelu pro predikci spropitného.

Exercise 1: Co je NannyML?Exercise 2: Klíčové funkce NannyML Exercise 3: Načtení datasetu Exercise 4: Příprava dat pro NannyML Exercise 5: Referenční, nebo analytické období?Exercise 6: Načítání a rozdělení dat Exercise 7: Vytvoření referenční a analytické sady Exercise 8: Odhad výkonu modelu Exercise 9: Urči algoritmus a typ problému Exercise 10: Interpretace výsledků Exercise 11: Postup CBPE a DLE Exercise 12: Odhad výkonu pro predikci spropitného

V této kapitole se seznámíš s kalkulátory realizovaného výkonu, které se používají, když jsou k dispozici skutečné výsledky (ground truth). Naučíš se pokročilejší metody práce s výsledky – filtrování, vizualizaci, převod do datových rámců, dělení na úseky a nastavení vlastních prahových hodnot. Na závěr toto všechno využiješ k výpočtu obchodní hodnoty modelu trénovaného na datasetu hotelových rezervací.

Exercise 1: Když jsou k dispozici štítky Exercise 2: Kdy odhad výkonnosti selhává

Aktuální cvičení

Exercise 3: Porovnání odhadovaného a realizovaného výkonu Exercise 4: Práce s vypočítanými a odhadovanými výsledky Exercise 5: Různé metody dělení na chunky Exercise 6: Úprava prahových hodnot Exercise 7: Práce s výsledky Exercise 8: Výpočet a odhad obchodní hodnoty Exercise 9: Výpočet obchodní hodnoty Exercise 10: Pokles v peněžní hodnotě Exercise 11: Výpočet business value pro dataset hotelových rezervací

Po odhalení poklesu výkonu modelu hotelových rezervací se naučíš, jak identifikovat příčinu daného problému. V této kapitole se seznámíš s metodami detekce multivariátního a univariátního driftu. Dozvíš se také, jak odhalit problémy s kvalitou dat a jak řešit zjištěné příčiny.

Exercise 1: Multivariátní detekce driftu Exercise 2: Identifikace relevantních driftů Exercise 3: Drift v datasetu hotelových rezervací Exercise 4: Univariátní detekce driftu Exercise 5: Univariátní detekce driftu pro dataset rezervací hotelu Exercise 6: Seřazení univariátních výsledků Exercise 7: Vizualizace příznaků s driftem Exercise 8: Kontrola kvality dat a statistik Exercise 9: Kontrola kvality dat Exercise 10: Souhrnné statistiky Exercise 11: Řešení problémů Exercise 12: Jak to vyřešit?Exercise 13: Nechat to být, nebo ne?Exercise 14: Implementace monitorovacího workflow Exercise 15: Gratulujeme!