Implementace RandomizedSearchCV

Doufáš, že náhodné prohledávání hyperparametrů ti pomůže zlepšit předpovědi v rámci školního úkolu. Tvůj profesor zadal třídě výzvu: předpovědět průměrný výsledek závěrečné zkoušky.

Pro přípravu náhodného prohledávání jsi vytvořil/a:

param_dist: rozdělení hyperparametrů
rfr: model náhodného lesa pro regresi
scorer: metodu hodnocení, která se použije

Toto cvičení je součástí kurzu

Validace modelů v Pythonu

Pokyny k cvičení

Načti metodu pro provádění náhodného prohledávání ze sklearn.
Dokonči náhodné prohledávání doplněním parametrů: estimator, param_distributions a scoring.
Pro toto náhodné prohledávání použij 5násobnou křížovou validaci.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Import the method for random search
from sklearn.model_selection import ____

# Build a random search using param_dist, rfr, and scorer
random_search =\
    ____(
        estimator=___,
        param_distributions=____,
        n_iter=10,
        cv=____,
        scoring=____)

Upravit a spustit kód

Toto cvičení je součástí kurzu

Validace modelů v Pythonu

SkillTag.level.intermediateSkillTag.label

4.9+

Začněte kurz zdarma

Než se pustíme do validace modelů, musíme si nejdřív ukázat, jak se modely vytvářejí a jak s nimi pracovat. Tato kapitola slouží jako úvod do spouštění regresních a klasifikačních modelů v scikit-learn. Tyto základy budování modelů budeme využívat po celý zbytek kurzu.

Exercise 1: Úvod do validace modelů Exercise 2: Kroky modelování Exercise 3: Viděná vs. neviděná data Exercise 4: Regresní modely Exercise 5: Nastavení parametrů a trénování modelu Exercise 6: Důležitost příznaků Exercise 7: Klasifikační modely Exercise 8: Klasifikační predikce Exercise 9: Opětovné použití parametrů modelu Exercise 10: Klasifikátor náhodného lesa

Tato kapitola se věnuje základům validace modelů. Postupně si ukážeme, jak rozdělit data na trénovací, validační a testovací sady, a vysvětlíme si, co je to kompromis mezi biasem a variancí. Tím připravíme půdu pro techniky K-fold a Leave-One-Out validace, které si procvičíme ve třetí kapitole.

Exercise 1: Vytvoření trénovací, testovací a validační datové sady Exercise 2: Vytvoření jedné testovací sady Exercise 3: Vytvoření dvou testovacích sad Exercise 4: K čemu slouží holdout sady Exercise 5: Metriky přesnosti: regresní modely Exercise 6: Střední absolutní chyba Exercise 7: Střední kvadratická chyba Exercise 8: Výkon modelu na podmnožinách dat Exercise 9: Klasifikační metriky Exercise 10: Matice záměn Exercise 11: Matice záměn, znovu Exercise 12: Precision vs. recall Exercise 13: Kompromis mezi vychýlením a rozptylem Exercise 14: Chyba způsobená nedostatečným/nadměrným přizpůsobením Exercise 15: Trpí model underfittingem?

Holdout sety jsou skvělým prvním krokem při validaci modelů. Pracovat jen s jednou trénovací a testovací sadou ale obvykle nestačí. Křížová validace je považována za zlatý standard při ověřování výkonu modelů a téměř vždy se používá i při ladění hyperparametrů. Tato kapitola se zaměřuje právě na křížovou validaci.

Exercise 1: Problémy s holdout množinami Exercise 2: Dva vzorky Exercise 3: Možné problémy Exercise 4: Křížová validace Exercise 5: KFold() v scikit-learn Exercise 6: Použití indexů KFold Exercise 7: cross_val_score() v sklearn Exercise 8: Metody scikit-learn Exercise 9: Implementace cross_val_score()Exercise 10: Leave-one-out cross-validation (LOOCV)Exercise 11: Kdy použít LOOCV Exercise 12: Leave-one-out cross-validation

První tři kapitoly se věnovaly technikám validace modelů. Ve čtvrté kapitole tyto techniky – konkrétně křížovou validaci – využijeme v praxi při ladění hyperparametrů. Validace modelů totiž ladění umožňuje a pomáhá nám vybrat ten nejlepší model.

Exercise 1: Úvod do ladění hyperparametrů Exercise 2: Vytváření hyperparametrů Exercise 3: Spuštění modelu s použitím rozsahů Exercise 4: RandomizedSearchCV Exercise 5: Příprava na RandomizedSearch Exercise 6: Implementace RandomizedSearchCV

Aktuální cvičení

Exercise 7: Výběr finálního modelu Exercise 8: Nejlepší přesnost klasifikace Exercise 9: Výběr nejlepšího modelu podle přesnosti Exercise 10: Kurz dokončen!