Im ersten Kapitel erfährst du, warum Unternehmen deine Machine-Learning-Modelle in der Produktion überwachen sollten. Du lernst den idealen Monitoring-Workflow und die einzelnen Schritte kennen sowie einige Herausforderungen, denen Überwachungssysteme in der Praxis begegnen können.

Warum du dein Modell überwachen musst

Warum scheitern Modelle?

Die Vorteile von Monitoring-Systemen

Der ideale Monitoring-Workflow

Warum es wichtig ist, KPIs zu überwachen

Idealtypischer Monitoring-Workflow

Monitoring-Workflow im realen Szenario

Herausforderungen beim Monitoring von ML-Modellen

Verzögerte Ground Truth

Covariate Shift vs. Concept Drift

Was ist ML Monitoring

In Kapitel 2 entdeckst du die grundlegende Bedeutung der Leistungsüberwachung in einem verlässlichen Monitoring-System. Wir betrachten typische Herausforderungen in realen Produktionsumgebungen, wie die Verfügbarkeit der Ground Truth. Am Ende des Kapitels weißt du, wie du mit Situationen umgehst, in denen Ground-Truth-Daten verzögert eintreffen oder fehlen, und zwar mithilfe von Verfahren zur Leistungsschätzung.

Technische Performance direkt überwachen

Warum zuerst die Performance?

Verschiedene Arten von Kovariatenverschiebungen

Verfügbarkeit von Ground Truth

Ist eine Leistungsschätzung erforderlich?

Performance-Monitoring in der Produktion

Leistungsabschätzung

Überlegungen zu CBPE

Performance-Schätzung in der Produktion

Algorithmen zur Leistungsschätzung

Theoretische Konzepte der Überwachung

Jetzt kennst du die Grundlagen von Covariate Shift und Concept Drift in der Produktion – lass uns noch etwas tiefer einsteigen. Am Ende dieses Kapitels kennst du verschiedene Möglichkeiten, sie in realen Szenarien zu erkennen und zu handhaben.

Was ist Covariate Shift?

Vertauschte Features

Drift-Erkennungsmethode

Wie man Covariate Shift erkennt

Feine Veränderungen

Optionen

Wahr

Falsch

Verschiedene Methoden

Was ist Concept Drift?

Art von Concept Drift

Wechselwirkung von Concept Drift und Covariate Shift

Wie gehst du mit Concept Drift um?

Echtzeit-Anpassung

Richtig

Erkennung und Behebung von Concept Drift

Zusammenfassung

Erkennung von Covariate Shift und Concept Drift

Um den langfristigen Erfolg von Machine-Learning-Modellen sicherzustellen, ist es entscheidend, zu verstehen, wie man sie im Produktivbetrieb effektiv überwacht. Da Machine Learning in der Geschäftswelt immer häufiger eingesetzt wird, entwickelt sich Data Science nach der Bereitstellung zu einem wichtigen Bereich. Dieser Kurs behandelt alle wesentlichen Konzepte zur Überwachung von Machine-Learning-Systemen in Produktion, um Geschäftswert zu sichern, das Ausfallrisiko zu reduzieren und die Transparenz zu erhöhen.

<h2> Konzepte zur Überwachung des maschinellen Lernens</h2>
Modelle für maschinelles Lernen beeinflussen immer mehr Entscheidungen in der echten Welt. Diese Modelle müssen überwacht werden, um Ausfälle zu vermeiden und sicherzustellen, dass sie deinem Unternehmen einen geschäftlichen Mehrwert bieten. In diesem Kurs lernst du die grundlegenden Konzepte zum Aufbau eines robusten Überwachungssystems für deine Modelle in der Produktion kennen.
<br><br>
<h2>Entdecke den perfekten Monitoring-Workflow</h2>
Der Kurs fängt damit an, wo man mit der Überwachung in der Produktion anfangen sollte und wie man die Prozesse drum herum aufbaut. Wir zeigen dir anhand von Beispielen aus der Praxis, wie du Probleme erkennst, die Ursachen findest und sie löst.
<br><br>
<h2>Entdecke die Herausforderungen bei der Überwachung von Modellen in der Produktion</h2>
Ein Modell in der Produktion einzusetzen, ist nur der Anfang vom Modelllebenszyklus. Auch wenn es während der Entwicklung gut läuft, kann es wegen ständig wechselnder Produktionsdaten schiefgehen. In diesem Kurs schaust du dir an, wie schwierig es ist, die Leistung eines Modells zu überwachen, vor allem wenn es keine Referenzwerte gibt.
<br><br>
<h2> Verstehe genau, was Kovariatenverschiebung und Konzeptdrift bedeuten</h2>
Der letzte Teil dieses Kurses dreht sich um zwei Arten von stillen Modellfehlern. Du wirst die verschiedenen Arten von Kovariatenverschiebungen und Konzeptdrift, ihren Einfluss auf die Modellleistung sowie deren Erkennung und Vermeidung im Detail verstehen.

MLOps Concepts

Supervised Learning with scikit-learn

Erfahren Sie mehr über Herausforderungen bei der Überwachung von ML-Modellen, wie Daten- und Konzeptdrift.

Überwachung von Machine-Learning-Konzepten

Dieser Kurs macht dich vertraut mit den Herausforderungen bei der Überwachung von Machine-Learning-Modellen im Produktivbetrieb.

Ingenieur für maschinelles Lernen

Machine Learning in der Produktion in Python

Das erneute Trainieren von Modellen ist bei großen Modellen und Big Data eine teure Lösung zur Behandlung von Concept Drift

Periodisches Retraining hält das Modell mit aktuellen Mustern auf dem neuesten Stand

Wiederkehrender Concept Drift kann bei Ereignissen wie Black Friday oder Weihnachten auftreten

Online Learning ist empfindlich gegenüber Rauschen in den Daten, was zur Verbesserung des Modells führen kann

Fehlerbasierte Methoden benötigen keine Ground-Truth-Daten

Concept Drift mit einem neuen Modell zu erkennen, das auf Test- und Produktionsdaten trainiert wurde, ist eine günstige Lösung

Erkennung und Behebung von Concept Drift

Überwachung von Machine-Learning-Konzepten

Interaktive Übung