Bewertung deines Modells anpassen

Eigene Bewertungsfunktionen zu erstellen, ist sehr praktisch, wenn du verschiedene Modelle durchprobierst. Die Funktion metric_set() aus dem yardstick-Paket kann dir dabei helfen.

Definiere eine Funktion, die roc_auc, accuracy, sens (Sensitivität) und spec (Spezifität) zurückgibt, und verwende sie, um dein Modell zu bewerten.

Der erweiterte Data Frame lr_aug ist bereits geladen und einsatzbereit.

Diese Übung ist Teil des Kurses

<Kurs>Feature Engineering in R</Kurs>

Übungsanweisungen

Definiere eine benutzerdefinierte Bewertungsfunktion, die roc_auc, accuracy, sens und spec zurückgibt.
Bewerte dein Modell mit deiner neuen Funktion auf lr_aug, um die von dir gewählten Metriken zu erhalten.

Interaktive praktische Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

# Define a custom assessment function 
class_evaluate <- ___(___, ___, sens, ___)

# Assess your model using your new function
___(___, truth = Attrition,
               estimate = .pred_class,
               .pred_No)

Code bearbeiten und ausführen

Diese Übung ist Teil des Kurses

<Kurs>Feature Engineering in R</Kurs>

Mittlere SchwierigkeitSchwierigkeitsgrad

4.8+

Kurs kostenlos starten

Rohdaten liegen nicht immer in der besten Form für Analysen vor. In diesem einführenden Kapitel bekommst du einen ersten Eindruck davon, wie du Features transformierst und erstellst, um die Leistung und Interpretierbarkeit deines Modells zu verbessern.

Exercise 1: Was ist Feature Engineering?Exercise 2: Ein vorläufiges Modell Exercise 3: Ein Feature manuell entwickeln Exercise 4: Neue Features mithilfe von Domänenwissen erstellen Exercise 5: Deine Daten für die Analyse vorbereiten Exercise 6: Einen Workflow erstellen Exercise 7: Den Informationsgehalt von Rohdaten erhöhen Exercise 8: Fehlende Werte identifizieren Exercise 9: Fehlende Werte imputieren und Dummy-Variablen erstellen Exercise 10: Modell fitten und bewerten Exercise 11: Vorhersage von Hotelbuchungen

In diesem Kapitel lernst du, dass du über manuelle Transformationen hinaus Tools aus dem tidyverse nutzen kannst, um programmgesteuert neue Variablen zu erzeugen. Du erkundest, wie dieser Ansatz die Reproduzierbarkeit deiner Modelle verbessert und besonders hilfreich ist, wenn du mit Datensätzen mit vielen Features arbeitest.

Exercise 1: Warum bestehende Features transformieren?Exercise 2: Ein schneller Blick auf deine Daten Exercise 3: Normalisieren und Log-Transformation Exercise 4: Fitten und Augmentieren Exercise 5: Bewertung deines Modells anpassen

Aktuelle Übung

Exercise 6: Häufige Feature-Transformationen Exercise 7: Häufige Transformationen Exercise 8: Einfache Recipe Exercise 9: Box-Cox-Transformation Exercise 10: Yeo-Johnson-Transformation Exercise 11: Fortgeschrittene Transformationen Exercise 12: Baseline Exercise 13: step_poly()Exercise 14: step_percentile()Exercise 15: Wer bleibt?

Jetzt lernst du, wie Modelle oft davon profitieren, die Dimensionalität zu reduzieren und Features aus hochdimensionalen Daten zu extrahieren – unter anderem durch die Umwandlung von Textdaten in numerische Werte, das Codieren kategorialer Daten und das Bewerten der Vorhersagekraft von Variablen. Du lernst Methoden wie Hauptkomponentenanalyse, Kernel-Hauptkomponentenanalyse, numerische Extraktion aus Text, kategoriale Codierungen und Variable-Importance-Scores kennen.

Exercise 1: Dimensionalität verringern Exercise 2: Bühne vorbereiten Exercise 3: In die Struktur eintauchen Exercise 4: Prozent erklärter Varianz Exercise 5: Erklärte Varianz visualisieren Exercise 6: Feature Hashing Exercise 7: Bildungsbereich untersuchen Exercise 8: Ab in die Matrix Exercise 9: Das Hashing erkunden Exercise 10: Hashing visualisieren Exercise 11: Kategorische Daten mit überwachtem Lernen encodieren Exercise 12: Deinen Workflow einrichten Exercise 13: Fitten, Augmentieren und Bewerten Exercise 14: Modelle zusammenbinden Exercise 15: Variablenwichtigkeit Exercise 16: Erstelle einen Workflow Exercise 17: Fit und Augmentieren Exercise 18: Was ist der wichtigste Prädiktor?

Zum Abschluss des Kurses lernst du Feature-Engineering- und Machine-Learning-Techniken kennen. Zunächst konzentrierst du dich auf die Probleme, die entstehen, wenn alle verfügbaren Features in einem Modell verwendet werden, und auf die Bedeutung, irrelevante und redundante Features zu erkennen und mithilfe eingebetteter Methoden wie Lasso und Elastic Net zu entfernen. Anschließend erkundest du Shrinkage-Methoden wie Lasso, Ridge und Elastic Net, die zur Regularisierung von Feature-Gewichten dienen oder Features auswählen, indem Koeffizienten auf null gesetzt werden. Abschließend erstellst du einen End-to-End-Workflow für Feature Engineering und wiederholst und übst die zuvor gelernten Konzepte und Funktionen in einem kleinen Projekt.

Exercise 1: Die Merkmale des Modells reduzieren Exercise 2: In der Variablenwichtigkeit stöbern Exercise 3: Modellleistung mit allen verfügbaren Prädiktoren bewerten Exercise 4: Ein reduziertes Modell erstellen Exercise 5: Shrinkage-Methoden Exercise 6: Manuelle Regularisierung mit Lasso Exercise 7: Die penalty abstimmen Exercise 8: Das Modell finalisieren Exercise 9: Alles zusammenführen Exercise 10: Vorbereiten und splitten Exercise 11: Vorverarbeitung Exercise 12: Modell Exercise 13: Bewerten Exercise 14: Glückwunsch!