Ein Modell mit Test-/Train-Split evaluieren

Jetzt testest du das Modell mpg_model auf den Testdaten mpg_test. Die Funktionen rmse() und r_squared() zum Berechnen von RMSE und R-squared wurden der Einfachheit halber bereitgestellt:

rmse(predcol, ycol)
r_squared(predcol, ycol)

wobei:

predcol: die vorhergesagten Werte
ycol: das tatsächliche Ergebnis

Außerdem wirst du die Vorhersagen gegen das tatsächliche Ergebnis plotten.

Im Allgemeinen ist die Modellleistung auf den Trainingsdaten besser als auf den Testdaten (manchmal hat das Test-Set allerdings „Glück“). Ein kleiner Leistungsunterschied ist in Ordnung; wenn die Leistung auf dem Training jedoch deutlich besser ist, gibt es ein Problem.

Die Data Frames mpg_train und mpg_test sowie das Modell mpg_model sind zusammen mit den Funktionen rmse() und r_squared() bereits geladen.

Diese Übung ist Teil des Kurses

<Kurs>Überwachtes Lernen in R: Regression</Kurs>

Übungsanweisungen

Sage die städtische Kraftstoffeffizienz aus hwy auf den mpg_train-Daten voraus. Weise die Vorhersagen der Spalte pred zu.
Sage die städtische Kraftstoffeffizienz aus hwy auf den mpg_test-Daten voraus. Weise die Vorhersagen der Spalte pred zu.
Verwende rmse(), um das RMSE für Test- und Trainingsdaten zu berechnen. Vergleiche: Sind die Leistungen ähnlich?
Mache dasselbe mit r_squared(). Sind die Leistungen ähnlich?
Verwende ggplot2, um die Vorhersagen gegen cty auf den test-Daten zu plotten.

Interaktive praktische Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

# Examine the objects that have been loaded
ls.str()

# predict cty from hwy for the training set
mpg_train$pred <- ___

# predict cty from hwy for the test set
mpg_test$pred <- ___

# Evaluate the rmse on both training and test data and print them
(rmse_train <- ___)
(rmse_test <- ___)


# Evaluate the r-squared on both training and test data.and print them
(rsq_train <- ___)
(rsq_test <- ___)

# Plot the predictions (on the x-axis) against the outcome (cty) on the test data
ggplot(___, aes(x = ___, y = ___)) + 
  geom_point() + 
  geom_abline()

Code bearbeiten und ausführen

Diese Übung ist Teil des Kurses

<Kurs>Überwachtes Lernen in R: Regression</Kurs>

Mittlere SchwierigkeitSchwierigkeitsgrad

4.7+

Kurs kostenlos starten

In diesem Kapitel führen wir das Konzept der Regression aus Sicht des Machine Learnings ein. Wir stellen die grundlegende Regressionsmethode vor: die lineare Regression. Du lernst, wie man ein lineares Regressionsmodell anpasst und daraus Vorhersagen ableitet.

Exercise 1: Willkommen und Einführung Exercise 2: Erkenne die Regressionsaufgaben Exercise 3: Lineare Regression – die grundlegende Methode Exercise 4: Programmiere eine einfache Regression mit einer Variablen Exercise 5: Ein Modell untersuchen Exercise 6: Vorhersagen nach dem Fitten eines Modells Exercise 7: Vorhersagen mit dem Arbeitslosenmodell Exercise 8: Multivariate lineare Regression (Teil 1)Exercise 9: Multivariate lineare Regression (Teil 2)Exercise 10: Lineare Regression zusammenfassen

Nachdem wir gelernt haben, einfache lineare Regressionsmodelle zu fitten, beschäftigen wir uns nun damit, wie gut unsere Modelle abschneiden. Wir betrachten die grafische Bewertung eines Modells und zwei grundlegende Metriken für Regressionsmodelle. Außerdem lernst du, wie man ein Modell so trainiert, dass es in der Praxis gut performt – nicht nur auf den Trainingsdaten. Auch wenn wir diese Techniken anhand der linearen Regression demonstrieren, gelten alle Konzepte für Modelle, die mit beliebigen Regressionsalgorithmen gefittet werden.

Exercise 1: Ein Modell grafisch bewerten Exercise 2: Beurteile das Arbeitslosenmodell grafisch Exercise 3: Die Gain-Curve zur Bewertung des Arbeitslosenmodells Exercise 4: Root Mean Squared Error (RMSE)Exercise 5: RMSE berechnen Exercise 6: Bestimmtheitsmaß (R²)Exercise 7: Bestimme R-squared Exercise 8: Korrelation und R-Quadrat Exercise 9: Ein Modell richtig trainieren Exercise 10: Zufälligen Test/Train-Split erzeugen Exercise 11: Ein Modell mit Train-/Test-Split trainieren Exercise 12: Ein Modell mit Test-/Train-Split evaluieren

Aktuelle Übung

Exercise 13: Erstelle einen Cross-Validation-Plan Exercise 14: Ein Modellierungsverfahren mit n-facher Cross-Validation bewerten

Bevor wir zu fortgeschritteneren Regressionsverfahren übergehen, betrachten wir weitere Modellierungsaspekte: das Modellieren mit kategorialen Eingaben, Interaktionen zwischen Variablen und Situationen, in denen du Eingaben und Ausgaben vor dem Modellieren transformieren solltest. Obwohl anspruchsvollere Regressionsverfahren einiges davon automatisch abdecken, ist es wichtig, diese Punkte zu kennen, um zu verstehen, welche Methoden welche Themen gut handhaben – und welche Aspekte du weiterhin selbst steuern musst.

Exercise 1: Kategorische Eingaben Exercise 2: Die Struktur kategorialer Eingaben untersuchen Exercise 3: Modellierung mit kategorialen Eingaben Exercise 4: Interaktionen Exercise 5: Eine Interaktion modellieren Exercise 6: Interaktion modellieren (2)Exercise 7: Die Zielvariable vor dem Modellieren transformieren Exercise 8: Relativer Fehler Exercise 9: Modellierung eines logarithmiert transformierten Geld-Outputs Exercise 10: Vergleich von RMSE und Root-Mean-Squared Relativfehler Exercise 11: Eingaben vor dem Modellieren transformieren Exercise 12: Eingabetransformationen: der „Hockeyschläger“Exercise 13: Transformationen der Eingaben: der „Hockeyschläger“ (2)

Nachdem wir lineare Modelle sicher beherrschen, wenden wir uns Techniken zu, die Situationen modellieren, in denen die Linearitätsannahmen nicht gelten. Dazu gehören das Vorhersagen von Wahrscheinlichkeiten und Anteilen (Werte zwischen 0 und 1), das Vorhersagen von Zählwerten (nichtnegative ganze Zahlen und zugehörige Raten) sowie Antworten, die eine nichtlineare, aber additive Beziehung zu den Eingaben haben. Diese Algorithmen sind Variationen des klassischen linearen Modells.

Exercise 1: Logistische Regression zur Vorhersage von Wahrscheinlichkeiten Exercise 2: Modell zur Überlebenswahrscheinlichkeit von Spatzen fitten Exercise 3: Überleben von Spatzen vorhersagen Exercise 4: Poisson- und Quasi-Poisson-Regression zur Vorhersage von Zählwerten Exercise 5: Poisson oder Quasipoisson Exercise 6: Ein Modell zur Vorhersage von Fahrradverleih-Zahlen fitten Exercise 7: Fahrrad-Ausleihen auf neuen Daten vorhersagen Exercise 8: Visualisiere die Vorhersagen der Fahrradvermietung Exercise 9: GAM zum Lernen nichtlinearer Transformationen Exercise 10: Formeln für GAM-Modelle schreiben Exercise 11: Formeln für GAM-Modelle schreiben (2)Exercise 12: Sojabohnenwachstum mit GAM modellieren Exercise 13: Mit dem Soybean-Modell auf Testdaten vorhersagen

In diesem Kapitel betrachten wir Modellierungsalgorithmen, die weder Linearität noch Additivität voraussetzen und die begrenzte Arten von Interaktionen zwischen Eingabevariablen lernen können. Diese Algorithmen sind baumbasierte Methoden, die funktionieren, indem sie Ensembles von Entscheidungsbäumen kombinieren, die aus den Trainingsdaten gelernt werden.

Exercise 1: Die Intuition hinter baumbasierten Methoden Exercise 2: Vorhersagen mit einem Entscheidungsbaum Exercise 3: Random Forests Exercise 4: Erstelle ein Random-Forest-Modell für Fahrradverleihen Exercise 5: Leihfahrräder mit dem Random-Forest-Modell vorhersagen Exercise 6: Vorhersagen des Random-Forest-Fahrradmodells visualisieren Exercise 7: One-Hot-Encoding kategorialer Variablen Exercise 8: vtreat an einem kleinen Beispiel Exercise 9: Neue Ausprägungen Exercise 10: vtreat für die Fahrradausleihdaten Exercise 11: Gradient-Boosting-Machines Exercise 12: Finde die richtige Anzahl an Bäumen für eine Gradient-Boosting-Machine Exercise 13: Ein xgboost-Modell für Fahrradverleih fitten und vorhersagen Exercise 14: Bewerte das xgboost-Modell für Fahrradmieten Exercise 15: Visualisiere das xgboost-Modell für Fahrradverleih