Než se pustíme do validace modelů, musíme si nejdřív ukázat, jak se modely vytvářejí a jak s nimi pracovat. Tato kapitola slouží jako úvod do spouštění regresních a klasifikačních modelů v scikit-learn. Tyto základy budování modelů budeme využívat po celý zbytek kurzu.

Úvod do validace modelů

Kroky modelování

Viděná vs. neviděná data

Regresní modely

Nastavení parametrů a trénování modelu

Důležitost příznaků

Klasifikační modely

Klasifikační predikce

Opětovné použití parametrů modelu

Klasifikátor náhodného lesa

Základy modelování v scikit-learn

Tato kapitola se věnuje základům validace modelů. Postupně si ukážeme, jak rozdělit data na trénovací, validační a testovací sady, a vysvětlíme si, co je to kompromis mezi biasem a variancí. Tím připravíme půdu pro techniky K-fold a Leave-One-Out validace, které si procvičíme ve třetí kapitole.

Vytvoření trénovací, testovací a validační datové sady

Vytvoření jedné testovací sady

Vytvoření dvou testovacích sad

K čemu slouží holdout sady

Metriky přesnosti: regresní modely

Střední absolutní chyba

Střední kvadratická chyba

Výkon modelu na podmnožinách dat

Klasifikační metriky

Matice záměn

Matice záměn, znovu

Precision vs. recall

Kompromis mezi vychýlením a rozptylem

Chyba způsobená nedostatečným/nadměrným přizpůsobením

Trpí model underfittingem?

Základy validace

Holdout sety jsou skvělým prvním krokem při validaci modelů. Pracovat jen s jednou trénovací a testovací sadou ale obvykle nestačí. Křížová validace je považována za zlatý standard při ověřování výkonu modelů a téměř vždy se používá i při ladění hyperparametrů. Tato kapitola se zaměřuje právě na křížovou validaci.

Problémy s holdout množinami

Dva vzorky

Možné problémy

Křížová validace

KFold() v scikit-learn

Použití indexů KFold

cross_val_score() v sklearn

Metody scikit-learn

Implementace cross_val_score()

Leave-one-out cross-validation (LOOCV)

Kdy použít LOOCV

Leave-one-out cross-validation

První tři kapitoly se věnovaly technikám validace modelů. Ve čtvrté kapitole tyto techniky – konkrétně křížovou validaci – využijeme v praxi při ladění hyperparametrů. Validace modelů totiž ladění umožňuje a pomáhá nám vybrat ten nejlepší model.

Úvod do ladění hyperparametrů

Vytváření hyperparametrů

Spuštění modelu s použitím rozsahů

RandomizedSearchCV

Příprava na RandomizedSearch

Implementace RandomizedSearchCV

Výběr finálního modelu

Nejlepší přesnost klasifikace

Výběr nejlepšího modelu podle přesnosti

Kurz dokončen!

Výběr nejlepšího modelu pomocí ladění hyperparametrů

Tic-Tac-Toe dataset

Candy dataset

Implementace modelů strojového učení je dnes snazší než kdy dřív. Bez správné validace ale výsledky, které model vrátí na nových datech, nemusí být tak přesné, jak bys čekal/a. Validace modelů analytikům umožňuje sebejistě odpovědět na otázku: jak dobrý tvůj model vlastně je? Na tuto otázku budeme odpovídat u klasifikačních modelů pomocí kompletní sady koncových stavů piškvorek a u regresních modelů pomocí datové sady fivethirtyeight hodnotící oblíbenost halloweenských sladkostí. V kurzu si projdeme základy validace modelů, probereme různé validační techniky a začneme budovat nástroje pro tvorbu validovaných a výkonných modelů.

Supervised Learning with scikit-learn

Naučte se základy validace modelů, techniky validace a vytvářejte výkonné modely.

Validace modelů v Pythonu

Naučte se základy validace modelů, validační techniky a začněte vytvářet validované a vysoce výkonné modely.

Vědec v oblasti strojového učení v Pythonu

Data Scientist

Vytváření trénovacích, testovacích a validačních datových sad

Tradiční rozdělení na trénovací a testovací sadu

Definice datových sad a poměry dělení

Datové sady X a y

Vytváření výběrových vzorků

Datová sada pro předběžné testování?

Výběrové vzorky pro ladění parametrů

Trénovací, validační a testovací sada – pokračování

Čas na výběrový vzorek

Základy validace - Vytvoření trénovací, testovací a validační datové sady

Vytvoření trénovací, testovací a validační datové sady

Create Your Free Account