K čemu slouží holdout sady

Je důležité vědět, kdy použít tři datové sady (trénovací, validační a testovací) místo dvou (trénovací a testovací). Vytvářet dodatečné rozdělení dat nemá smysl, pokud ho nevyužiješ.

Kdy bys měl/a uvažovat o použití trénovací, validační a testovací datové sady?

Toto cvičení je součástí kurzu

Validace modelů v Pythonu

Interaktivní praktické cvičení

Proměňte teorii v praxi s jedním z našich interaktivních cvičení

Začít cvičení

Toto cvičení je součástí kurzu

Validace modelů v Pythonu

SkillTag.level.intermediateSkillTag.label

4.9+

Začněte kurz zdarma

Než se pustíme do validace modelů, musíme si nejdřív ukázat, jak se modely vytvářejí a jak s nimi pracovat. Tato kapitola slouží jako úvod do spouštění regresních a klasifikačních modelů v scikit-learn. Tyto základy budování modelů budeme využívat po celý zbytek kurzu.

Exercise 1: Úvod do validace modelů Exercise 2: Kroky modelování Exercise 3: Viděná vs. neviděná data Exercise 4: Regresní modely Exercise 5: Nastavení parametrů a trénování modelu Exercise 6: Důležitost příznaků Exercise 7: Klasifikační modely Exercise 8: Klasifikační predikce Exercise 9: Opětovné použití parametrů modelu Exercise 10: Klasifikátor náhodného lesa

Tato kapitola se věnuje základům validace modelů. Postupně si ukážeme, jak rozdělit data na trénovací, validační a testovací sady, a vysvětlíme si, co je to kompromis mezi biasem a variancí. Tím připravíme půdu pro techniky K-fold a Leave-One-Out validace, které si procvičíme ve třetí kapitole.

Exercise 1: Vytvoření trénovací, testovací a validační datové sady Exercise 2: Vytvoření jedné testovací sady Exercise 3: Vytvoření dvou testovacích sad Exercise 4: K čemu slouží holdout sady

Aktuální cvičení

Exercise 5: Metriky přesnosti: regresní modely Exercise 6: Střední absolutní chyba Exercise 7: Střední kvadratická chyba Exercise 8: Výkon modelu na podmnožinách dat Exercise 9: Klasifikační metriky Exercise 10: Matice záměn Exercise 11: Matice záměn, znovu Exercise 12: Precision vs. recall Exercise 13: Kompromis mezi vychýlením a rozptylem Exercise 14: Chyba způsobená nedostatečným/nadměrným přizpůsobením Exercise 15: Trpí model underfittingem?

Holdout sety jsou skvělým prvním krokem při validaci modelů. Pracovat jen s jednou trénovací a testovací sadou ale obvykle nestačí. Křížová validace je považována za zlatý standard při ověřování výkonu modelů a téměř vždy se používá i při ladění hyperparametrů. Tato kapitola se zaměřuje právě na křížovou validaci.

Exercise 1: Problémy s holdout množinami Exercise 2: Dva vzorky Exercise 3: Možné problémy Exercise 4: Křížová validace Exercise 5: KFold() v scikit-learn Exercise 6: Použití indexů KFold Exercise 7: cross_val_score() v sklearn Exercise 8: Metody scikit-learn Exercise 9: Implementace cross_val_score()Exercise 10: Leave-one-out cross-validation (LOOCV)Exercise 11: Kdy použít LOOCV Exercise 12: Leave-one-out cross-validation

První tři kapitoly se věnovaly technikám validace modelů. Ve čtvrté kapitole tyto techniky – konkrétně křížovou validaci – využijeme v praxi při ladění hyperparametrů. Validace modelů totiž ladění umožňuje a pomáhá nám vybrat ten nejlepší model.

Exercise 1: Úvod do ladění hyperparametrů Exercise 2: Vytváření hyperparametrů Exercise 3: Spuštění modelu s použitím rozsahů Exercise 4: RandomizedSearchCV Exercise 5: Příprava na RandomizedSearch Exercise 6: Implementace RandomizedSearchCV Exercise 7: Výběr finálního modelu Exercise 8: Nejlepší přesnost klasifikace Exercise 9: Výběr nejlepšího modelu podle přesnosti Exercise 10: Kurz dokončen!