Innan vi kan validera modeller behöver vi förstå hur man skapar och arbetar med dem. Det här kapitlet ger en introduktion till att köra regressions- och klassificeringsmodeller i scikit-learn. Den grunden för modellbyggande använder vi sedan genom hela kursen.

Introduktion till modellvalidering

Modelleringssteg

Sedd kontra osedd data

Regressionsmodeller

Ange parametrar och träna en modell

Särdragets viktighet

Klassificeringsmodeller

Klassificeringsprediktioner

Återanvända modellparametrar

Random forest-klassificerare

Grundläggande modellering i scikit-learn

Det här kapitlet fokuserar på grunderna i modellvalidering. Vi går igenom hur man delar upp data i tränings-, validerings- och testmängder, och bygger upp en förståelse för avvägningen mellan bias och varians – som grund för teknikerna K-fold och Leave-One-Out som vi övar i kapitel tre.

Skapa tränings-, test- och valideringsdatamängder

Skapa en hållback-datamängd

Skapa två hålluppsättningar

Varför använda holdout-mängder

Noggrannhetsmått: regressionsmodeller

Medelabsolutfel

Medelkvadratfel

Prestanda på datadeluppsättningar

Klassificeringsmått

Förväxlingsmatriser

Förvirringsmatriser, igen

Precision vs. recall

Avvägningen mellan bias och varians

Fel på grund av under- och överanpassning

Underanpassar jag modellen?

Grunderna i validering

Hålloutmängder är en bra start för modellvalidering, men att använda en enda tränings- och testmängd räcker ofta inte. Korsvalidering anses vara standarden för att validera modellprestanda och används nästan alltid vid justering av modellhyperparametrar. Det här kapitlet fokuserar på att utföra korsvalidering för att validera modellprestanda.

Problemet med holdout-mängder

Två urval

Potentiella problem

Korsvalidering

scikit-learns KFold()

Använda KFold-index

sklearns cross_val_score()

scikit-learns metoder

Implementera cross_val_score()

Leave-one-out-korsvalidering (LOOCV)

När ska LOOCV användas

Leave-one-out-korsvalidering

De tre första kapitlen fokuserade på valideringstekniker för modeller. I kapitel 4 tillämpar vi dessa tekniker – framför allt korsvalidering – samtidigt som vi lär oss om hyperparameterjustering. Modellvalidering möjliggör ju justering och hjälper oss att välja den bästa modellen.

Introduktion till hyperparameterjustering

Skapa hyperparametrar

Köra en modell med intervall

RandomizedSearchCV

Förberedelser inför RandomizedSearch

Implementera RandomizedSearchCV

Välj din slutliga modell

Bästa klassificeringsnoggrannhet

Välj den bästa precisionsmodellen

Kursen är klar!

Välj den bästa modellen med hyperparameterjustering

Tic-Tac-Toe dataset

Candy dataset

Maskininlärningsmodeller är enklare att implementera än någonsin tidigare. Utan ordentlig validering kan resultaten från att köra ny data genom en modell bli mindre tillförlitliga än förväntat. Modellvalidering ger analytiker möjlighet att med säkerhet svara på frågan: hur bra är din modell? Vi besvarar den frågan för klassificeringsmodeller med hjälp av alla möjliga slutspelsscenarier i luffarschack, och för regressionsmodeller med fivethirtyeights rankingdataset för Halloween-godis. Kursen täcker grunderna i modellvalidering, olika valideringstekniker och hur du bygger upp verktyg för validerade modeller med hög prestanda.

Supervised Learning with scikit-learn

Lär dig grunderna i modellvalidering och tekniker för att skapa validerade och högpresterande modeller.

Modellvalidering i Python

Lär dig grunderna i modellvalidering, valideringstekniker och börja skapa validerade och högpresterande modeller.

Maskininlärningsforskare i Python

Varför använda holdout-mängder

Modellvalidering i Python

Interaktiv övning med praktiskt arbete