Prestanda på datadeluppsättningar

I professionell basket finns det två konferenser, Öst och Väst. Tränare och fans bryr sig ofta bara om hur lagen i den egna konferensen kommer att prestera under säsongen.

Du har arbetat med en NBA-prediktionsmodell och vill ta reda på om prediktionerna var bättre för Öst- eller Västkonferensen. Du har lagt till en tredje array i dina data som heter labels, vilken innehåller "E" för östlagen och "W" för västlagen. y_test och predictions är inlästa och klara att använda.

Den här övningen är en del av kursen

Modellvalidering i Python

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Find the East conference teams
east_teams = ____ == ____

Redigera och kör kod

Den här övningen är en del av kursen

Modellvalidering i Python

SkillTag.level.intermediateSkillTag.label

4.9+

Starta kursen gratis

Innan vi kan validera modeller behöver vi förstå hur man skapar och arbetar med dem. Det här kapitlet ger en introduktion till att köra regressions- och klassificeringsmodeller i scikit-learn. Den grunden för modellbyggande använder vi sedan genom hela kursen.

Exercise 1: Introduktion till modellvalidering Exercise 2: Modelleringssteg Exercise 3: Sedd kontra osedd data Exercise 4: Regressionsmodeller Exercise 5: Ange parametrar och träna en modell Exercise 6: Särdragets viktighet Exercise 7: Klassificeringsmodeller Exercise 8: Klassificeringsprediktioner Exercise 9: Återanvända modellparametrar Exercise 10: Random forest-klassificerare

Det här kapitlet fokuserar på grunderna i modellvalidering. Vi går igenom hur man delar upp data i tränings-, validerings- och testmängder, och bygger upp en förståelse för avvägningen mellan bias och varians – som grund för teknikerna K-fold och Leave-One-Out som vi övar i kapitel tre.

Exercise 1: Skapa tränings-, test- och valideringsdatamängder Exercise 2: Skapa en hållback-datamängd Exercise 3: Skapa två hålluppsättningar Exercise 4: Varför använda holdout-mängder Exercise 5: Noggrannhetsmått: regressionsmodeller Exercise 6: Medelabsolutfel Exercise 7: Medelkvadratfel Exercise 8: Prestanda på datadeluppsättningar

Aktuell övning

Exercise 9: Klassificeringsmått Exercise 10: Förväxlingsmatriser Exercise 11: Förvirringsmatriser, igen Exercise 12: Precision vs. recall Exercise 13: Avvägningen mellan bias och varians Exercise 14: Fel på grund av under- och överanpassning Exercise 15: Underanpassar jag modellen?

Hålloutmängder är en bra start för modellvalidering, men att använda en enda tränings- och testmängd räcker ofta inte. Korsvalidering anses vara standarden för att validera modellprestanda och används nästan alltid vid justering av modellhyperparametrar. Det här kapitlet fokuserar på att utföra korsvalidering för att validera modellprestanda.

Exercise 1: Problemet med holdout-mängder Exercise 2: Två urval Exercise 3: Potentiella problem Exercise 4: Korsvalidering Exercise 5: scikit-learns KFold()Exercise 6: Använda KFold-index Exercise 7: sklearns cross_val_score()Exercise 8: scikit-learns metoder Exercise 9: Implementera cross_val_score()Exercise 10: Leave-one-out-korsvalidering (LOOCV)Exercise 11: När ska LOOCV användas Exercise 12: Leave-one-out-korsvalidering

De tre första kapitlen fokuserade på valideringstekniker för modeller. I kapitel 4 tillämpar vi dessa tekniker – framför allt korsvalidering – samtidigt som vi lär oss om hyperparameterjustering. Modellvalidering möjliggör ju justering och hjälper oss att välja den bästa modellen.

Exercise 1: Introduktion till hyperparameterjustering Exercise 2: Skapa hyperparametrar Exercise 3: Köra en modell med intervall Exercise 4: RandomizedSearchCV Exercise 5: Förberedelser inför RandomizedSearch Exercise 6: Implementera RandomizedSearchCV Exercise 7: Välj din slutliga modell Exercise 8: Bästa klassificeringsnoggrannhet Exercise 9: Välj den bästa precisionsmodellen Exercise 10: Kursen är klar!