Voordat we modellen kunnen valideren, moeten we begrijpen hoe we ze maken en ermee werken. In dit hoofdstuk maak je kennis met het draaien van regressie- en classificatiemodellen in scikit-learn. We gebruiken deze basis voor modelbouw in de rest van de hoofdstukken.

Introductie tot modelvalidatie

Modelleer-stappen

Geziene vs. ongeziene data

Regressiemodellen

Stel parameters in en train een model

Belang van features

Classificatiemodellen

Classificatievoorspellingen

Modelparameters hergebruiken

Random forest-classificatie

Basismodellering in scikit-learn

Dit hoofdstuk draait om de basis van modelvalidatie. Van het splitsen van data in trainings-, validatie- en testgegevenssets tot het begrijpen van de bias-variance trade-off: we leggen de basis voor de technieken K-Fold en Leave-One-Out-validatie die we in hoofdstuk drie oefenen.

Train-, test- en validatiegegevenssets maken

Maak één holdoutset

Maak twee holdout-sets

Waarom holdout-sets gebruiken

Nauwkeurigheidsmaten: regressiemodellen

Gemiddelde absolute fout

Mean squared error

Prestaties op gegevenssubsets

Classificatiemetrics

Confusion matrices

Nogmaals confusion matrices

Precision vs. recall

De bias-variance trade-off

Fout door under/overfitting

Heb ik last van underfitting?

Validatiebasis

Holdout-sets zijn een goed begin voor modelvalidatie. Het gebruik van slechts één train- en testset is echter vaak niet genoeg. Cross-validatie geldt als de gouden standaard voor het valideren van modelprestaties en wordt bijna altijd gebruikt bij het afstellen van modelhyperparameters. Dit hoofdstuk richt zich op het uitvoeren van cross-validatie om modelprestaties te valideren.

De problemen met holdout-sets

Twee steekproeven

Mogelijke problemen

Cross-validatie

scikit-learn's KFold()

KFold-indices gebruiken

sklearns cross_val_score()

Methode’s van scikit-learn

Implementeer cross_val_score()

Leave-one-out-cross-validation (LOOCV)

Wanneer gebruik je LOOCV

Leave-one-out-cross-validation

De eerste drie hoofdstukken richtten zich op technieken voor modelvalidatie. In hoofdstuk 4 passen we deze technieken toe—vooral cross-validatie—terwijl we leren over hyperparametertuning. Modelvalidatie maakt tuning immers mogelijk en helpt ons het beste model te kiezen.

Introductie tot hyperparameter tuning

Hyperparameters aanmaken

Een model draaien met bereiken

RandomizedSearchCV

Voorbereiden op RandomizedSearch

RandomizedSearchCV implementeren

Je definitieve model kiezen

Beste classificatienauwkeurigheid

Het beste precisie-model selecteren

Cursus voltooid!

Het beste model kiezen met hyperparametertuning.

Candy dataset

Tic-Tac-Toe dataset

Machine Learning-modellen zijn tegenwoordig makkelijker te implementeren dan ooit. Zonder goede validatie zijn de resultaten van nieuwe data door een model halen mogelijk minder accuraat dan verwacht. Modelvalidatie stelt analisten in staat om vol vertrouwen de vraag te beantwoorden: hoe goed is je model? We beantwoorden deze vraag voor classificatiemodellen met de volledige set eindspel-scenario’s van boter-kaas-en-eieren, en voor regressiemodellen met fivethirtyeight’s ultimate Halloween candy power ranking-gegevensset. In deze cursus behandelen we de basis van modelvalidatie, bespreken we verschillende validatietechnieken en beginnen we tools te ontwikkelen om gevalideerde en goed presterende modellen te bouwen.

Supervised Learning with scikit-learn

Leer de basis van modelvalidatie, technieken en maak gevalideerde, goed presterende modellen.

Modelvalidatie in Python

Leer de basis van modelvalidatie en validatietechnieken, en begin met het maken van gevalideerde en goed presterende modellen.

Wetenschapper op het gebied van machine learning in Python

Waarom holdout-sets gebruiken

Modelvalidatie in Python

Interactieve oefening met praktijkervaring