Přizpůsob si hodnocení modelu

Vytváření vlastních hodnoticích funkcí je velmi praktické, když postupně procházíš různé modely. Funkce metric_set() z balíčku yardstick ti s tím pomůže.

Definuj funkci, která vrátí roc_auc, accuracy, sens (sensitivitu) a spec (specificitu), a použij ji k vyhodnocení svého modelu.

Dataový rámec lr_aug je už načtený a připravený k použití.

Toto cvičení je součástí kurzu

Feature Engineering v R

Pokyny k cvičení

Definuj vlastní hodnoticí funkci, která vrátí roc_auc, accuracy, sens a spec.
Vyhodnoť svůj model pomocí nové funkce na datech lr_aug a získej zvolené metriky.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Define a custom assessment function 
class_evaluate <- ___(___, ___, sens, ___)

# Assess your model using your new function
___(___, truth = Attrition,
               estimate = .pred_class,
               .pred_No)

Upravit a spustit kód

Toto cvičení je součástí kurzu

Feature Engineering v R

SkillTag.level.intermediateSkillTag.label

4.8+

Začněte kurz zdarma

Surová data ne vždy přicházejí v ideální podobě pro analýzu. V této úvodní kapitole se poprvé podíváš na to, jak transformovat a vytvářet příznaky, které zlepší výkon i interpretovatelnost tvého modelu.

Exercise 1: Co je feature engineering?Exercise 2: Předběžný model Exercise 3: Ruční tvorba příznaku Exercise 4: Vytváření nových příznaků s využitím doménových znalostí Exercise 5: Příprava dat pro analýzu Exercise 6: Sestavení workflow Exercise 7: Zvyšování informační hodnoty surových dat Exercise 8: Identifikace chybějících hodnot Exercise 9: Imputace chybějících hodnot a vytvoření dummy proměnných Exercise 10: Trénování a hodnocení modelu Exercise 11: Předpovídání hotelových rezervací

V této kapitole zjistíš, že kromě ruční transformace příznaků můžeš využít nástroje z tidyverse k programatickému vytváření nových proměnných. Prozkoumáš, jak tento přístup zlepšuje reprodukovatelnost tvých modelů a proč je zvlášť užitečný při práci s datasety obsahujícími velké množství příznaků.

Exercise 1: Proč transformovat stávající příznaky?Exercise 2: Rychlý pohled na data Exercise 3: Normalizace a logaritmická transformace Exercise 4: Trénování a augmentace Exercise 5: Přizpůsob si hodnocení modelu

Aktuální cvičení

Exercise 6: Běžné transformace příznaků Exercise 7: Běžné transformace Exercise 8: Jednoduchý recept Exercise 9: Transformace Box-Cox Exercise 10: Yeo-Johnsonova transformace Exercise 11: Pokročilé transformace Exercise 12: Základní model Exercise 13: step_poly()Exercise 14: step_percentile()Exercise 15: Kdo zůstává?

Naučíš se, jak modely často těží z redukce dimenzionality a extrakce příznaků z vícerozměrných dat – včetně převodu textových dat na číselné hodnoty, kódování kategorických dat a hodnocení prediktivní síly proměnných. Prozkoumáš metody jako analýza hlavních komponent, kernelová analýza hlavních komponent, numerická extrakce z textu, kódování kategorií a skóre důležitosti proměnných.

Exercise 1: Redukce dimenzionality Exercise 2: Příprava scény Exercise 3: Prozkoumání struktury Exercise 4: Procentuální podíl vysvětleného rozptylu Exercise 5: Vizualizace vysvětlené variability Exercise 6: Feature hashing Exercise 7: Zkoumání vzdělávacího oboru Exercise 8: Do matice Exercise 9: Průzkum hashování Exercise 10: Vizualizace hashování Exercise 11: Kódování kategorických dat pomocí řízeného učení Exercise 12: Sestavení workflow Exercise 13: Trénování, augmentace a vyhodnocení Exercise 14: Spojení modelů dohromady Exercise 15: Důležitost proměnných Exercise 16: Vytvoření workflow Exercise 17: Trénování a augmentace modelu Exercise 18: Který prediktor je nejdůležitější?

Kurz zakončíš přehledem technik feature engineeringu a strojového učení. Nejprve se zaměříš na problémy spojené s použitím všech dostupných příznaků v modelu a na důležitost identifikace nevhodných a redundantních příznaků – a naučíš se je odstraňovat pomocí vestavěných metod, jako je lasso a elastic-net. Poté prozkoumáš metody regularizace (lasso, ridge a elastic-net), které slouží k regularizaci vah příznaků nebo k výběru příznaků nastavením koeficientů na nulu. Nakonec se zaměříš na sestavení komplexního workflow pro feature engineering a procvičíš dříve získané znalosti a funkce v malém projektu.

Exercise 1: Redukce příznaků modelu Exercise 2: Prozkoumání důležitosti proměnných Exercise 3: Hodnocení výkonu modelu se všemi dostupnými prediktory Exercise 4: Sestavení redukovaného modelu Exercise 5: Metody regularizace Exercise 6: Ruční regularizace pomocí Lasso Exercise 7: Ladění penalizace Exercise 8: Finalizace modelu Exercise 9: Dáme to dohromady Exercise 10: Příprava a rozdělení dat Exercise 11: Předzpracování Exercise 12: Model Exercise 13: Vyhodnocení Exercise 14: Gratulujeme!