Modelprestatie beoordelen met alle beschikbare predictoren

Om de prestatie van je gereduceerde model te beoordelen, is het belangrijk om een ijkpunt te zetten. Meet de prestatie van je volledige model om de trade-off van een gereduceerd model te begrijpen. Denk aan de grafiek met variabele belangrijkheid die je in een eerdere oefening hebt gemaakt.

Bar chart of variable importance.

De train- en test-splits samen met je zelfgeschreven functie class_evaluate() zijn in je omgeving geladen. Je getrainde model is opgeslagen als fit_full. De train- en test-splits samen met je zelfgeschreven functie class_evaluate() zijn in je omgeving geladen.

Deze oefening maakt deel uit van de cursus

Feature engineering in R

Oefeninstructies

Maak een augmented object op basis van het volledige getrainde model.
Beoordeel de modelprestatie met class_evaluate.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Create an augmented object from the fitted full model
aug_full <-
  fit_full %>%
  ___(test)

# Assess model performance using class_evaluate
aug_full %>% ___(truth = ___, 
               estimate = .pred_class,
               .pred_Yes)

Code bewerken en uitvoeren

Deze oefening maakt deel uit van de cursus

Feature engineering in R

SkillTag.level.intermediateSkillTag.label

4.8+

Begin gratis met de cursus

Ruwe data is niet altijd direct geschikt voor analyse. In dit openingshoofdstuk krijg je een eerste indruk van hoe je features kunt transformeren en creëren om de prestaties en interpretatie van je model te verbeteren.

Exercise 1: Wat is feature engineering?Exercise 2: Een voorlopig model Exercise 3: Handmatig een feature engineeren Exercise 4: Nieuwe features maken met domeinkennis Exercise 5: Je gegevens klaarmaken voor analyse Exercise 6: Een workflow bouwen Exercise 7: De informatie-inhoud van ruwe data vergroten Exercise 8: Ontbrekende waarden identificeren Exercise 9: Missende waarden imputeren en dummyvariabelen maken Exercise 10: Het model fitten en beoordelen Exercise 11: Hotelboekingen voorspellen

In dit hoofdstuk leer je dat je, naast het handmatig transformeren van features, ook tools uit de tidyverse kunt inzetten om programmatisch nieuwe variabelen te ontwikkelen. Je ontdekt hoe deze aanpak de reproduceerbaarheid van je modellen verbetert en vooral nuttig is bij gegevenssets met veel features.

Exercise 1: Waarom bestaande features transformeren?Exercise 2: Snel naar je data kijken Exercise 3: Normaliseren en log-transformeren Exercise 4: Fitten en aanvullen Exercise 5: Pas je modelbeoordeling aan Exercise 6: Veelvoorkomende transformaties van features Exercise 7: Veelvoorkomende transformaties Exercise 8: Eenvoudig recept Exercise 9: Box-Cox-transformatie Exercise 10: Yeo-Johnson-transformatie Exercise 11: Geavanceerde transformaties Exercise 12: Baseline Exercise 13: step_poly()Exercise 14: step_percentile()Exercise 15: Wie blijft er?

Je leert nu hoe modellen vaak profiteren van dimensiereductie en het extraheren van features uit hoog-dimensionale data, waaronder het omzetten van tekstdata naar numerieke waarden, het encoderen van categorische data en het rangschikken van de voorspellende kracht van variabelen. Je verkent methoden zoals principal component analysis, kernel principal component analysis, numerieke extractie uit tekst, categorische encoderingen en scores voor variabelebelang.

Exercise 1: Dimensionaliteit verminderen Exercise 2: Het podium voorbereiden Exercise 3: De structuur induiken Exercise 4: Percentage verklaarde variantie Exercise 5: Variantie visualiseren Exercise 6: Feature hashing Exercise 7: Onderzoeken van education field Exercise 8: De matrix in Exercise 9: De hashing verkennen Exercise 10: De hashing visualiseren Exercise 11: Categorische data coderen met supervised learning Exercise 12: Je workflow opzetten Exercise 13: Fitten, aanvullen en beoordelen Exercise 14: Modellen samenvoegen Exercise 15: Belang van variabelen Exercise 16: Maak een workflow Exercise 17: Fitten en augmentereren Exercise 18: Wat is de belangrijkste voorspeller?

Je rondt de cursus af met feature engineering- en Machine Learning-technieken. Je begint met de problemen die ontstaan als je alle beschikbare features in een model gebruikt en het belang van het identificeren van irrelevante en redundante features, en leert deze te verwijderen met embedded methoden zoals lasso en elastic-net. Vervolgens verken je shrinkage-methoden zoals lasso, ridge en elastic-net, die kunnen worden gebruikt om featuregewichten te regulariseren of features te selecteren door coëfficiënten op nul te zetten. Tot slot focus je op het opzetten van een end-to-end feature-engineeringworkflow en het herhalen en oefenen van de eerder geleerde concepten en functies in een klein project.

Exercise 1: Het aantal features van het model verminderen Exercise 2: Filteren op variabelebelang Exercise 3: Modelprestatie beoordelen met alle beschikbare predictoren

Huidige oefening

Exercise 4: Een gereduceerd model bouwen Exercise 5: Shrinkage-methoden Exercise 6: Handmatige regularisatie met Lasso Exercise 7: De penalty tunen Exercise 8: Het model finaliseren Exercise 9: Alles samenbrengen Exercise 10: Voorbereiden en splitsen Exercise 11: Preprocessen Exercise 12: Model Exercise 13: Beoordelen Exercise 14: Gefeliciteerd!