Anpassa din modellutvärdering

Att skapa egna utvärderingsfunktioner är mycket praktiskt när du itererar igenom olika modeller. Funktionen metric_set() från paketet yardstick hjälper dig att uppnå detta.

Definiera en funktion som returnerar roc_auc, accuracy, sens (känslighet) och spec (specificitet), och använd den sedan för att utvärdera din modell.

Dataramen lr_aug är redan inläst och redo att användas.

Den här övningen är en del av kursen

Feature Engineering i R

Övningsinstruktioner

Definiera en anpassad utvärderingsfunktion som returnerar roc_auc, accuracy, sens och spec.
Utvärdera din modell med den nya funktionen på lr_aug för att få fram de mätvärden du just valde.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Define a custom assessment function 
class_evaluate <- ___(___, ___, sens, ___)

# Assess your model using your new function
___(___, truth = Attrition,
               estimate = .pred_class,
               .pred_No)

Redigera och kör kod

Den här övningen är en del av kursen

Feature Engineering i R

SkillTag.level.intermediateSkillTag.label

4.8+

Starta kursen gratis

Rådata är inte alltid i sitt bästa skick för analys. I det här inledande kapitlet får du en första inblick i hur du transformerar och skapar särdrag som förbättrar din modells prestanda och tolkbarhet.

Exercise 1: Vad är feature engineering?Exercise 2: En preliminär modell Exercise 3: Skapa ett särdrag manuellt Exercise 4: Skapa nya särdrag med hjälp av domänkunskap Exercise 5: Förbered dina data för analys Exercise 6: Skapa ett arbetsflöde Exercise 7: Öka informationsinnehållet i rådata Exercise 8: Identifiera saknade värden Exercise 9: Imputera saknade värden och skapa dummyvariabler Exercise 10: Träna och utvärdera modellen Exercise 11: Förutsäga hotellbokningar

I det här kapitlet lär du dig att det, utöver att manuellt transformera särdrag, går att använda verktyg från tidyverse för att konstruera nya variabler programmatiskt. Du utforskar hur det här tillvägagångssättet förbättrar reproducerbarheten hos dina modeller och är särskilt användbart när du hanterar datamängder med många särdrag.

Exercise 1: Varför transformera befintliga särdrag?Exercise 2: En snabb titt på dina data Exercise 3: Normalisering och logaritmtransformation Exercise 4: Anpassa och augmentera Exercise 5: Anpassa din modellutvärdering

Aktuell övning

Exercise 6: Vanliga särdragstransformationer Exercise 7: Vanliga transformationer Exercise 8: Enkel recept Exercise 9: Box-Cox-transformation Exercise 10: Yeo-Johnson-transformation Exercise 11: Avancerade transformationer Exercise 12: Baslinje Exercise 13: step_poly()Exercise 14: step_percentile()Exercise 15: Vem stannar kvar?

Nu lär du dig hur modeller ofta drar nytta av att minska dimensionaliteten och extrahera särdrag från högdimensionella data, till exempel genom att konvertera textdata till numeriska värden, koda kategoriska data och rangordna variablers prediktiva förmåga. Du utforskar metoder som principalkomponentanalys, kernel-principalkomponentanalys, numerisk extraktion från text, kategoriska kodningar och variabelviktspoäng.

Exercise 1: Dimensionsreduktion Exercise 2: Förbered grunden Exercise 3: Utforska strukturen Exercise 4: Procentuellt förklarad varians Exercise 5: Visualisera förklarad varians Exercise 6: Feature-hashning Exercise 7: Undersöka utbildningsområde Exercise 8: In i matrisen Exercise 9: Utforska hashning Exercise 10: Visualisera hashningen Exercise 11: Koda kategorisk data med hjälp av övervakad inlärning Exercise 12: Sätt upp ditt arbetsflöde Exercise 13: Anpassa, utöka och utvärdera Exercise 14: Kombinera modeller Exercise 15: Variabelviktighet Exercise 16: Skapa ett arbetsflöde Exercise 17: Anpassa och utöka Exercise 18: Vilken är den viktigaste prediktorn?

Du avslutar kursen med att lära dig om feature engineering och maskininlärningstekniker. Du börjar med att fokusera på problemen med att använda alla tillgängliga särdrag i en modell, samt vikten av att identifiera irrelevanta och redundanta särdrag och lära dig att ta bort dem med inbyggda metoder som lasso och elastic-net. Därefter utforskar du krympningsmetoder som lasso, ridge och elastic-net, vilka kan användas för att regularisera särdragsvikter eller välja särdrag genom att sätta koefficienter till noll. Slutligen fokuserar du på att skapa ett heltäckande arbetsflöde för feature engineering och repetera och öva de tidigare inlärda begreppen och funktionerna i ett mindre projekt.

Exercise 1: Reducera modellens särdrag Exercise 2: Utforska variabelns betydelse Exercise 3: Utvärdera modellens prestanda med alla tillgängliga prediktorer Exercise 4: Bygga en reducerad modell Exercise 5: Krympningsmetoder Exercise 6: Manuell regularisering med Lasso Exercise 7: Justera straffparametern Exercise 8: Slutföra modellen Exercise 9: Att sätta ihop allt Exercise 10: Förbered och dela upp Exercise 11: Förbehandling Exercise 12: Modell Exercise 13: Utvärdera Exercise 14: Grattis!