Die Gain-Curve zur Bewertung des Arbeitslosenmodells

In der vorherigen Übung hast du Vorhersagen für female_unemployment erstellt und die Vorhersagen sowie die Residuen visualisiert. Jetzt zeichnest du zusätzlich die Gain-Curve der Vorhersagen von unemployment_model gegenüber der tatsächlichen female_unemployment mit der Funktion WVPlots::GainCurvePlot() (docs).

In Situationen, in denen die Reihenfolge wichtiger ist als exakte Werte, hilft dir die Gain-Curve zu prüfen, ob die Vorhersagen des Modells in derselben Reihenfolge sortieren wie das wahre Ergebnis.

Aufrufe der Funktion GainCurvePlot() sehen so aus:

GainCurvePlot(frame, xvar, truthvar, title)

wobei

frame ein Data Frame ist,
xvar und truthvar Zeichenketten sind, die die Vorhersage- bzw. Zielspalte in frame benennen, und
title der Titel des Plots ist.

Wenn die Vorhersagen exakt in derselben Reihenfolge sortieren, ist der relative Gini-Koeffizient 1. Wenn das Modell schlecht sortiert, ist der relative Gini-Koeffizient nahe null oder sogar negativ.

Der Data Frame unemployment, der auch die Vorhersagen enthält, sowie das Modell unemployment_model stehen dir zur Verfügung.

Diese Übung ist Teil des Kurses

<Kurs>Überwachtes Lernen in R: Regression</Kurs>

Übungsanweisungen

Lade das Paket WVPlots mit library().
Zeichne die Gain-Curve. Gib dem Plot den Titel "Unemployment model". Sortieren die Vorhersagen des Modells korrekt?

Interaktive praktische Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

# unemployment (with predictions) is available
summary(unemployment)

# unemployment_model is available
summary(unemployment_model)

# Load the package WVPlots
___

# Plot the Gain Curve
___(___, ___, ___, "Unemployment model")

Code bearbeiten und ausführen

Diese Übung ist Teil des Kurses

<Kurs>Überwachtes Lernen in R: Regression</Kurs>

Mittlere SchwierigkeitSchwierigkeitsgrad

4.7+

Kurs kostenlos starten

In diesem Kapitel führen wir das Konzept der Regression aus Sicht des Machine Learnings ein. Wir stellen die grundlegende Regressionsmethode vor: die lineare Regression. Du lernst, wie man ein lineares Regressionsmodell anpasst und daraus Vorhersagen ableitet.

Exercise 1: Willkommen und Einführung Exercise 2: Erkenne die Regressionsaufgaben Exercise 3: Lineare Regression – die grundlegende Methode Exercise 4: Programmiere eine einfache Regression mit einer Variablen Exercise 5: Ein Modell untersuchen Exercise 6: Vorhersagen nach dem Fitten eines Modells Exercise 7: Vorhersagen mit dem Arbeitslosenmodell Exercise 8: Multivariate lineare Regression (Teil 1)Exercise 9: Multivariate lineare Regression (Teil 2)Exercise 10: Lineare Regression zusammenfassen

Nachdem wir gelernt haben, einfache lineare Regressionsmodelle zu fitten, beschäftigen wir uns nun damit, wie gut unsere Modelle abschneiden. Wir betrachten die grafische Bewertung eines Modells und zwei grundlegende Metriken für Regressionsmodelle. Außerdem lernst du, wie man ein Modell so trainiert, dass es in der Praxis gut performt – nicht nur auf den Trainingsdaten. Auch wenn wir diese Techniken anhand der linearen Regression demonstrieren, gelten alle Konzepte für Modelle, die mit beliebigen Regressionsalgorithmen gefittet werden.

Exercise 1: Ein Modell grafisch bewerten Exercise 2: Beurteile das Arbeitslosenmodell grafisch Exercise 3: Die Gain-Curve zur Bewertung des Arbeitslosenmodells

Aktuelle Übung

Exercise 4: Root Mean Squared Error (RMSE)Exercise 5: RMSE berechnen Exercise 6: Bestimmtheitsmaß (R²)Exercise 7: Bestimme R-squared Exercise 8: Korrelation und R-Quadrat Exercise 9: Ein Modell richtig trainieren Exercise 10: Zufälligen Test/Train-Split erzeugen Exercise 11: Ein Modell mit Train-/Test-Split trainieren Exercise 12: Ein Modell mit Test-/Train-Split evaluieren Exercise 13: Erstelle einen Cross-Validation-Plan Exercise 14: Ein Modellierungsverfahren mit n-facher Cross-Validation bewerten

Bevor wir zu fortgeschritteneren Regressionsverfahren übergehen, betrachten wir weitere Modellierungsaspekte: das Modellieren mit kategorialen Eingaben, Interaktionen zwischen Variablen und Situationen, in denen du Eingaben und Ausgaben vor dem Modellieren transformieren solltest. Obwohl anspruchsvollere Regressionsverfahren einiges davon automatisch abdecken, ist es wichtig, diese Punkte zu kennen, um zu verstehen, welche Methoden welche Themen gut handhaben – und welche Aspekte du weiterhin selbst steuern musst.

Exercise 1: Kategorische Eingaben Exercise 2: Die Struktur kategorialer Eingaben untersuchen Exercise 3: Modellierung mit kategorialen Eingaben Exercise 4: Interaktionen Exercise 5: Eine Interaktion modellieren Exercise 6: Interaktion modellieren (2)Exercise 7: Die Zielvariable vor dem Modellieren transformieren Exercise 8: Relativer Fehler Exercise 9: Modellierung eines logarithmiert transformierten Geld-Outputs Exercise 10: Vergleich von RMSE und Root-Mean-Squared Relativfehler Exercise 11: Eingaben vor dem Modellieren transformieren Exercise 12: Eingabetransformationen: der „Hockeyschläger“Exercise 13: Transformationen der Eingaben: der „Hockeyschläger“ (2)

Nachdem wir lineare Modelle sicher beherrschen, wenden wir uns Techniken zu, die Situationen modellieren, in denen die Linearitätsannahmen nicht gelten. Dazu gehören das Vorhersagen von Wahrscheinlichkeiten und Anteilen (Werte zwischen 0 und 1), das Vorhersagen von Zählwerten (nichtnegative ganze Zahlen und zugehörige Raten) sowie Antworten, die eine nichtlineare, aber additive Beziehung zu den Eingaben haben. Diese Algorithmen sind Variationen des klassischen linearen Modells.

Exercise 1: Logistische Regression zur Vorhersage von Wahrscheinlichkeiten Exercise 2: Modell zur Überlebenswahrscheinlichkeit von Spatzen fitten Exercise 3: Überleben von Spatzen vorhersagen Exercise 4: Poisson- und Quasi-Poisson-Regression zur Vorhersage von Zählwerten Exercise 5: Poisson oder Quasipoisson Exercise 6: Ein Modell zur Vorhersage von Fahrradverleih-Zahlen fitten Exercise 7: Fahrrad-Ausleihen auf neuen Daten vorhersagen Exercise 8: Visualisiere die Vorhersagen der Fahrradvermietung Exercise 9: GAM zum Lernen nichtlinearer Transformationen Exercise 10: Formeln für GAM-Modelle schreiben Exercise 11: Formeln für GAM-Modelle schreiben (2)Exercise 12: Sojabohnenwachstum mit GAM modellieren Exercise 13: Mit dem Soybean-Modell auf Testdaten vorhersagen

In diesem Kapitel betrachten wir Modellierungsalgorithmen, die weder Linearität noch Additivität voraussetzen und die begrenzte Arten von Interaktionen zwischen Eingabevariablen lernen können. Diese Algorithmen sind baumbasierte Methoden, die funktionieren, indem sie Ensembles von Entscheidungsbäumen kombinieren, die aus den Trainingsdaten gelernt werden.

Exercise 1: Die Intuition hinter baumbasierten Methoden Exercise 2: Vorhersagen mit einem Entscheidungsbaum Exercise 3: Random Forests Exercise 4: Erstelle ein Random-Forest-Modell für Fahrradverleihen Exercise 5: Leihfahrräder mit dem Random-Forest-Modell vorhersagen Exercise 6: Vorhersagen des Random-Forest-Fahrradmodells visualisieren Exercise 7: One-Hot-Encoding kategorialer Variablen Exercise 8: vtreat an einem kleinen Beispiel Exercise 9: Neue Ausprägungen Exercise 10: vtreat für die Fahrradausleihdaten Exercise 11: Gradient-Boosting-Machines Exercise 12: Finde die richtige Anzahl an Bäumen für eine Gradient-Boosting-Machine Exercise 13: Ein xgboost-Modell für Fahrradverleih fitten und vorhersagen Exercise 14: Bewerte das xgboost-Modell für Fahrradmieten Exercise 15: Visualisiere das xgboost-Modell für Fahrradverleih