Výkon modelu na podmnožinách dat

V profesionálním basketbalu existují dvě konference – Eastern a Western. Trenéry i fanoušky většinou zajímá jen to, jak si povedou týmy z jejich vlastní konference.

Pracuješ na predikčním modelu NBA a chceš zjistit, zda byly předpovědi přesnější pro Eastern, nebo Western konferenci. Do dat jsi přidal/a třetí pole labels, které obsahuje hodnotu "E" pro týmy z Eastern konference a "W" pro týmy z Western konference. Pole y_test a predictions jsou opět načtena a připravena k použití.

Toto cvičení je součástí kurzu

Validace modelů v Pythonu

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Find the East conference teams
east_teams = ____ == ____

Upravit a spustit kód

Toto cvičení je součástí kurzu

Validace modelů v Pythonu

SkillTag.level.intermediateSkillTag.label

4.9+

Začněte kurz zdarma

Než se pustíme do validace modelů, musíme si nejdřív ukázat, jak se modely vytvářejí a jak s nimi pracovat. Tato kapitola slouží jako úvod do spouštění regresních a klasifikačních modelů v scikit-learn. Tyto základy budování modelů budeme využívat po celý zbytek kurzu.

Exercise 1: Úvod do validace modelů Exercise 2: Kroky modelování Exercise 3: Viděná vs. neviděná data Exercise 4: Regresní modely Exercise 5: Nastavení parametrů a trénování modelu Exercise 6: Důležitost příznaků Exercise 7: Klasifikační modely Exercise 8: Klasifikační predikce Exercise 9: Opětovné použití parametrů modelu Exercise 10: Klasifikátor náhodného lesa

Tato kapitola se věnuje základům validace modelů. Postupně si ukážeme, jak rozdělit data na trénovací, validační a testovací sady, a vysvětlíme si, co je to kompromis mezi biasem a variancí. Tím připravíme půdu pro techniky K-fold a Leave-One-Out validace, které si procvičíme ve třetí kapitole.

Exercise 1: Vytvoření trénovací, testovací a validační datové sady Exercise 2: Vytvoření jedné testovací sady Exercise 3: Vytvoření dvou testovacích sad Exercise 4: K čemu slouží holdout sady Exercise 5: Metriky přesnosti: regresní modely Exercise 6: Střední absolutní chyba Exercise 7: Střední kvadratická chyba Exercise 8: Výkon modelu na podmnožinách dat

Aktuální cvičení

Exercise 9: Klasifikační metriky Exercise 10: Matice záměn Exercise 11: Matice záměn, znovu Exercise 12: Precision vs. recall Exercise 13: Kompromis mezi vychýlením a rozptylem Exercise 14: Chyba způsobená nedostatečným/nadměrným přizpůsobením Exercise 15: Trpí model underfittingem?

Holdout sety jsou skvělým prvním krokem při validaci modelů. Pracovat jen s jednou trénovací a testovací sadou ale obvykle nestačí. Křížová validace je považována za zlatý standard při ověřování výkonu modelů a téměř vždy se používá i při ladění hyperparametrů. Tato kapitola se zaměřuje právě na křížovou validaci.

Exercise 1: Problémy s holdout množinami Exercise 2: Dva vzorky Exercise 3: Možné problémy Exercise 4: Křížová validace Exercise 5: KFold() v scikit-learn Exercise 6: Použití indexů KFold Exercise 7: cross_val_score() v sklearn Exercise 8: Metody scikit-learn Exercise 9: Implementace cross_val_score()Exercise 10: Leave-one-out cross-validation (LOOCV)Exercise 11: Kdy použít LOOCV Exercise 12: Leave-one-out cross-validation

První tři kapitoly se věnovaly technikám validace modelů. Ve čtvrté kapitole tyto techniky – konkrétně křížovou validaci – využijeme v praxi při ladění hyperparametrů. Validace modelů totiž ladění umožňuje a pomáhá nám vybrat ten nejlepší model.

Exercise 1: Úvod do ladění hyperparametrů Exercise 2: Vytváření hyperparametrů Exercise 3: Spuštění modelu s použitím rozsahů Exercise 4: RandomizedSearchCV Exercise 5: Příprava na RandomizedSearch Exercise 6: Implementace RandomizedSearchCV Exercise 7: Výběr finálního modelu Exercise 8: Nejlepší přesnost klasifikace Exercise 9: Výběr nejlepšího modelu podle přesnosti Exercise 10: Kurz dokončen!