Hodnocení žebříčku výsledků

Funkce AutoML v H2O vrací výsledky modelů v takzvaném žebříčku výsledků (leaderboard). Bez křížové validace – která data musíš definovat, aby:

se trénovací data použila tak, jak jsou
se polovina validačních dat použila pro validaci
a druhá polovina validačních dat pro hodnocení žebříčku

Toto cvičení je součástí kurzu

Hyperparameter Tuning in R

Interaktivní praktické cvičení

Proměňte teorii v praxi s jedním z našich interaktivních cvičení

Začít cvičení

Toto cvičení je součástí kurzu

Hyperparameter Tuning in R

SkillTag.level.advancedSkillTag.label

4.8+

Začněte kurz zdarma

Proč se používá zvláštní slovo „hyperparametr"? Co ho dělá „hyper"? V této kapitole pochopíš, co jsou parametry modelu a čím se liší od hyperparametrů ve strojovém učení. Uvidíš, proč je vhodné je ladit a jak výchozí nastavení balíčku caret ladění hyperparametrů automaticky zahrnuje.

Exercise 1: Parametry vs. hyperparametry Exercise 2: Parametry modelu vs. hyperparametry Exercise 3: Hyperparametry v lineárních modelech Exercise 4: Co jsou to koeficienty?Exercise 5: Opakování základů strojového učení Exercise 6: Strojové učení s caret Exercise 7: Schémata resamplingů Exercise 8: Ladění hyperparametrů v caretu Exercise 9: Hyperparametry ve Stochastic Gradient Boosting Exercise 10: Změna počtu hyperparametrů k ladění Exercise 11: Ruční nastavení hyperparametrů

V této kapitole se naučíš ladit hyperparametry pomocí kartézské mřížky. Pak přejdeš na rychlejší a efektivnější přístupy. Použiješ random search a adaptivní převzorkování k ladění mřížky parametrů tak, aby se zaměřila na hodnoty v okolí optimálního nastavení.

Exercise 1: Ladění hyperparametrů v caret Exercise 2: Hledání hyperparametrů Exercise 3: Kartézské prohledávání mřížky v caret Exercise 4: Vizualizace výsledků ladění hyperparametrů Exercise 5: Grid Search vs. náhodné prohledávání Exercise 6: Grid search s rozsahem hyperparametrů Exercise 7: Najdi možnost funkce train() pro náhodné prohledávání Exercise 8: Náhodné prohledávání v caret Exercise 9: Adaptivní resampling Exercise 10: Výhody Adaptive Resampling Exercise 11: Adaptive resampling s caret

Zde využiješ další balíček pro strojové učení s velmi praktickými funkcemi pro ladění hyperparametrů. Nadefinuješ kartézskou mřížku nebo použiješ random search, případně pokročilejší techniky. Naučíš se také různé způsoby vizualizace a vyhodnocení modelů s různými hyperparametry.

Exercise 1: Machine learning s mlr Exercise 2: Machine Learning s mlr Exercise 3: Modelování s mlr Exercise 4: Grid search a random search s mlr Exercise 5: Náhodné prohledávání s mlr Exercise 6: Hyperparameter tuning s mlr Exercise 7: Vyhodnocování hyperparametrů s mlr Exercise 8: Proč vyhodnocovat ladění?Exercise 9: Vyhodnocení výsledků ladění hyperparametrů Exercise 10: Pokročilé ladění s mlr Exercise 11: Definuj pokročilé nastavení tuningu Exercise 12: Definování agregovaných metrik Exercise 13: Nastavení hyperparametrů

V závěrečné kapitole budeš pracovat s balíčkem h2o, dalším nástrojem pro strojové učení s pohodlnými funkcemi pro ladění hyperparametrů. Použiješ ho k trénování různých modelů a definování kartézské mřížky. Pak implementuješ random search s kritérii pro předčasné zastavení. Na závěr se seznámíš s AutoML – rozhraním h2o, které umožňuje velmi rychlé a snadné ladění modelů i hyperparametrů pomocí jediné funkce.

Exercise 1: Machine learning s h2o Exercise 2: Příprava dat pro modelování s h2o Exercise 3: Modelování s h2o Exercise 4: Grid search a random search s h2o Exercise 5: Grid search s h2o Exercise 6: Náhodné prohledávání s h2o Exercise 7: Kritéria zastavení Exercise 8: Automatické strojové učení s H2O Exercise 9: AutoML v h2o Exercise 10: Hodnocení žebříčku výsledků

Aktuální cvičení

Exercise 11: Extrakce modelů h2o a vyhodnocení výkonu Exercise 12: Závěr