Korsvalidering

I de kommande övningarna justerar du din logistiska regressionsmodell med hjälp av en metod som kallas k-faldig korsvalidering. Det är ett sätt att uppskatta modellens prestanda på osedd data (som din test-DataFrame).

Metoden fungerar genom att dela upp träningsdatan i ett antal olika partitioner. Exakt hur många är upp till dig, men i den här kursen används PySparks standardvärde på tre. När datan är uppdelad undanhålls en partition, och modellen anpassas till de övriga. Sedan mäts felet mot den undanhållna partitionen. Det här upprepas för varje partition, så att varje datablock används som testmängd exakt en gång. Slutligen beräknas medelvärdet av felen från alla partitioner. Det kallas korsvalideringsfel och är en bra uppskattning av det faktiska felet på den undanhållna datan.

Du använder korsvalidering för att välja hyperparametrar genom att skapa ett rutnät av möjliga kombinationer av värden för de två hyperparametrarna elasticNetParam och regParam. Korsvalideringsfelet används sedan för att jämföra alla modeller så att du kan välja den bästa!

Vad kan korsvalidering hjälpa dig att uppskatta?