När ska LOOCV användas

Vilka av följande är anledningar till att du INTE skulle använda LOOCV på det angivna X-datasetet? Datan i X har lästs in och är tillgänglig för dig att utforska.

A: Datasetet X innehåller 122 624 datapunkter, vilket kan vara beräkningstungt och långsamt.
B: Det går inte att använda LOOCV för klassificeringsproblem.
C: Du vill testa olika värden för 15 olika parametrar

Den här övningen är en del av kursen

Modellvalidering i Python

Interaktiv övning med praktiskt arbete

Gör teori till handling med en av våra interaktiva övningar

Starta övningen

Den här övningen är en del av kursen

Modellvalidering i Python

SkillTag.level.intermediateSkillTag.label

4.9+

Starta kursen gratis

Innan vi kan validera modeller behöver vi förstå hur man skapar och arbetar med dem. Det här kapitlet ger en introduktion till att köra regressions- och klassificeringsmodeller i scikit-learn. Den grunden för modellbyggande använder vi sedan genom hela kursen.

Exercise 1: Introduktion till modellvalidering Exercise 2: Modelleringssteg Exercise 3: Sedd kontra osedd data Exercise 4: Regressionsmodeller Exercise 5: Ange parametrar och träna en modell Exercise 6: Särdragets viktighet Exercise 7: Klassificeringsmodeller Exercise 8: Klassificeringsprediktioner Exercise 9: Återanvända modellparametrar Exercise 10: Random forest-klassificerare

Det här kapitlet fokuserar på grunderna i modellvalidering. Vi går igenom hur man delar upp data i tränings-, validerings- och testmängder, och bygger upp en förståelse för avvägningen mellan bias och varians – som grund för teknikerna K-fold och Leave-One-Out som vi övar i kapitel tre.

Exercise 1: Skapa tränings-, test- och valideringsdatamängder Exercise 2: Skapa en hållback-datamängd Exercise 3: Skapa två hålluppsättningar Exercise 4: Varför använda holdout-mängder Exercise 5: Noggrannhetsmått: regressionsmodeller Exercise 6: Medelabsolutfel Exercise 7: Medelkvadratfel Exercise 8: Prestanda på datadeluppsättningar Exercise 9: Klassificeringsmått Exercise 10: Förväxlingsmatriser Exercise 11: Förvirringsmatriser, igen Exercise 12: Precision vs. recall Exercise 13: Avvägningen mellan bias och varians Exercise 14: Fel på grund av under- och överanpassning Exercise 15: Underanpassar jag modellen?

Hålloutmängder är en bra start för modellvalidering, men att använda en enda tränings- och testmängd räcker ofta inte. Korsvalidering anses vara standarden för att validera modellprestanda och används nästan alltid vid justering av modellhyperparametrar. Det här kapitlet fokuserar på att utföra korsvalidering för att validera modellprestanda.

Exercise 1: Problemet med holdout-mängder Exercise 2: Två urval Exercise 3: Potentiella problem Exercise 4: Korsvalidering Exercise 5: scikit-learns KFold()Exercise 6: Använda KFold-index Exercise 7: sklearns cross_val_score()Exercise 8: scikit-learns metoder Exercise 9: Implementera cross_val_score()Exercise 10: Leave-one-out-korsvalidering (LOOCV)Exercise 11: När ska LOOCV användas

Aktuell övning

Exercise 12: Leave-one-out-korsvalidering

De tre första kapitlen fokuserade på valideringstekniker för modeller. I kapitel 4 tillämpar vi dessa tekniker – framför allt korsvalidering – samtidigt som vi lär oss om hyperparameterjustering. Modellvalidering möjliggör ju justering och hjälper oss att välja den bästa modellen.

Exercise 1: Introduktion till hyperparameterjustering Exercise 2: Skapa hyperparametrar Exercise 3: Köra en modell med intervall Exercise 4: RandomizedSearchCV Exercise 5: Förberedelser inför RandomizedSearch Exercise 6: Implementera RandomizedSearchCV Exercise 7: Välj din slutliga modell Exercise 8: Bästa klassificeringsnoggrannhet Exercise 9: Välj den bästa precisionsmodellen Exercise 10: Kursen är klar!