Normaliseren en log-transformeren

Je krijgt een gegevensset, attrition_num, met numerieke gegevens over werknemers die het bedrijf hebben verlaten. Kenmerken zijn onder andere Age, DistanceFromHome en MonthlyRate.

Je wilt deze gegevens gebruiken om een model te bouwen dat kan voorspellen of een werknemer waarschijnlijk blijft, aangeduid met Attrition, een binaire variabele gecodeerd als een factor. Ter voorbereiding op het modelleren wil je mogelijke scheefheid verminderen en voorkomen dat sommige variabelen zwaarder gaan wegen door verschillen in schaal.

De gegevens attrition_num en de train- en test-splits zijn al voor je geladen.

Deze oefening maakt deel uit van de cursus

Feature engineering in R

Oefeninstructies

Normaliseer alle numerieke predictoren.
Pas een log-transformatie toe op alle numerieke features, met een offset van één.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

lr_model <- logistic_reg()

lr_recipe <- 
  recipe(Attrition~., data = train) %>%

# Normalize all numeric predictors
  ___(all_numeric_predictors()) %>%

# Log-transform all numeric features, with an offset of one
  ___(___, offset = ___)

lr_workflow <- 
  workflow() %>%
  add_model(lr_model) %>%
  add_recipe(lr_recipe)

lr_workflow

Code bewerken en uitvoeren

Deze oefening maakt deel uit van de cursus

Feature engineering in R

SkillTag.level.intermediateSkillTag.label

4.8+

Begin gratis met de cursus

Ruwe data is niet altijd direct geschikt voor analyse. In dit openingshoofdstuk krijg je een eerste indruk van hoe je features kunt transformeren en creëren om de prestaties en interpretatie van je model te verbeteren.

Exercise 1: Wat is feature engineering?Exercise 2: Een voorlopig model Exercise 3: Handmatig een feature engineeren Exercise 4: Nieuwe features maken met domeinkennis Exercise 5: Je gegevens klaarmaken voor analyse Exercise 6: Een workflow bouwen Exercise 7: De informatie-inhoud van ruwe data vergroten Exercise 8: Ontbrekende waarden identificeren Exercise 9: Missende waarden imputeren en dummyvariabelen maken Exercise 10: Het model fitten en beoordelen Exercise 11: Hotelboekingen voorspellen

In dit hoofdstuk leer je dat je, naast het handmatig transformeren van features, ook tools uit de tidyverse kunt inzetten om programmatisch nieuwe variabelen te ontwikkelen. Je ontdekt hoe deze aanpak de reproduceerbaarheid van je modellen verbetert en vooral nuttig is bij gegevenssets met veel features.

Exercise 1: Waarom bestaande features transformeren?Exercise 2: Snel naar je data kijken Exercise 3: Normaliseren en log-transformeren

Huidige oefening

Exercise 4: Fitten en aanvullen Exercise 5: Pas je modelbeoordeling aan Exercise 6: Veelvoorkomende transformaties van features Exercise 7: Veelvoorkomende transformaties Exercise 8: Eenvoudig recept Exercise 9: Box-Cox-transformatie Exercise 10: Yeo-Johnson-transformatie Exercise 11: Geavanceerde transformaties Exercise 12: Baseline Exercise 13: step_poly()Exercise 14: step_percentile()Exercise 15: Wie blijft er?

Je leert nu hoe modellen vaak profiteren van dimensiereductie en het extraheren van features uit hoog-dimensionale data, waaronder het omzetten van tekstdata naar numerieke waarden, het encoderen van categorische data en het rangschikken van de voorspellende kracht van variabelen. Je verkent methoden zoals principal component analysis, kernel principal component analysis, numerieke extractie uit tekst, categorische encoderingen en scores voor variabelebelang.

Exercise 1: Dimensionaliteit verminderen Exercise 2: Het podium voorbereiden Exercise 3: De structuur induiken Exercise 4: Percentage verklaarde variantie Exercise 5: Variantie visualiseren Exercise 6: Feature hashing Exercise 7: Onderzoeken van education field Exercise 8: De matrix in Exercise 9: De hashing verkennen Exercise 10: De hashing visualiseren Exercise 11: Categorische data coderen met supervised learning Exercise 12: Je workflow opzetten Exercise 13: Fitten, aanvullen en beoordelen Exercise 14: Modellen samenvoegen Exercise 15: Belang van variabelen Exercise 16: Maak een workflow Exercise 17: Fitten en augmentereren Exercise 18: Wat is de belangrijkste voorspeller?

Je rondt de cursus af met feature engineering- en Machine Learning-technieken. Je begint met de problemen die ontstaan als je alle beschikbare features in een model gebruikt en het belang van het identificeren van irrelevante en redundante features, en leert deze te verwijderen met embedded methoden zoals lasso en elastic-net. Vervolgens verken je shrinkage-methoden zoals lasso, ridge en elastic-net, die kunnen worden gebruikt om featuregewichten te regulariseren of features te selecteren door coëfficiënten op nul te zetten. Tot slot focus je op het opzetten van een end-to-end feature-engineeringworkflow en het herhalen en oefenen van de eerder geleerde concepten en functies in een klein project.

Exercise 1: Het aantal features van het model verminderen Exercise 2: Filteren op variabelebelang Exercise 3: Modelprestatie beoordelen met alle beschikbare predictoren Exercise 4: Een gereduceerd model bouwen Exercise 5: Shrinkage-methoden Exercise 6: Handmatige regularisatie met Lasso Exercise 7: De penalty tunen Exercise 8: Het model finaliseren Exercise 9: Alles samenbrengen Exercise 10: Voorbereiden en splitsen Exercise 11: Preprocessen Exercise 12: Model Exercise 13: Beoordelen Exercise 14: Gefeliciteerd!