Im ersten Kapitel erfährst du, warum Unternehmen deine Machine-Learning-Modelle in der Produktion überwachen sollten. Du lernst den idealen Monitoring-Workflow und die einzelnen Schritte kennen sowie einige Herausforderungen, denen Überwachungssysteme in der Praxis begegnen können.

Warum du dein Modell überwachen musst

Warum scheitern Modelle?

Die Vorteile von Monitoring-Systemen

Der ideale Monitoring-Workflow

Warum es wichtig ist, KPIs zu überwachen

Idealtypischer Monitoring-Workflow

Monitoring-Workflow im realen Szenario

Herausforderungen beim Monitoring von ML-Modellen

Verzögerte Ground Truth

Covariate Shift vs. Concept Drift

Was ist ML Monitoring

In Kapitel 2 entdeckst du die grundlegende Bedeutung der Leistungsüberwachung in einem verlässlichen Monitoring-System. Wir betrachten typische Herausforderungen in realen Produktionsumgebungen, wie die Verfügbarkeit der Ground Truth. Am Ende des Kapitels weißt du, wie du mit Situationen umgehst, in denen Ground-Truth-Daten verzögert eintreffen oder fehlen, und zwar mithilfe von Verfahren zur Leistungsschätzung.

Technische Performance direkt überwachen

Warum zuerst die Performance?

Verschiedene Arten von Kovariatenverschiebungen

Verfügbarkeit von Ground Truth

Ist eine Leistungsschätzung erforderlich?

Performance-Monitoring in der Produktion

Leistungsabschätzung

Überlegungen zu CBPE

Performance-Schätzung in der Produktion

Algorithmen zur Leistungsschätzung

Theoretische Konzepte der Überwachung

Jetzt kennst du die Grundlagen von Covariate Shift und Concept Drift in der Produktion – lass uns noch etwas tiefer einsteigen. Am Ende dieses Kapitels kennst du verschiedene Möglichkeiten, sie in realen Szenarien zu erkennen und zu handhaben.

Was ist Covariate Shift?

Vertauschte Features

Drift-Erkennungsmethode

Wie man Covariate Shift erkennt

Feine Veränderungen

Optionen

Wahr

Falsch

Verschiedene Methoden

Was ist Concept Drift?

Art von Concept Drift

Wechselwirkung von Concept Drift und Covariate Shift

Wie gehst du mit Concept Drift um?

Echtzeit-Anpassung

Richtig

Erkennung und Behebung von Concept Drift

Zusammenfassung

Erkennung von Covariate Shift und Concept Drift

Um den langfristigen Erfolg von Machine-Learning-Modellen sicherzustellen, ist es entscheidend, zu verstehen, wie man sie im Produktivbetrieb effektiv überwacht. Da Machine Learning in der Geschäftswelt immer häufiger eingesetzt wird, entwickelt sich Data Science nach der Bereitstellung zu einem wichtigen Bereich. Dieser Kurs behandelt alle wesentlichen Konzepte zur Überwachung von Machine-Learning-Systemen in Produktion, um Geschäftswert zu sichern, das Ausfallrisiko zu reduzieren und die Transparenz zu erhöhen.

<h2> Konzepte zur Überwachung des maschinellen Lernens</h2>
Modelle für maschinelles Lernen beeinflussen immer mehr Entscheidungen in der echten Welt. Diese Modelle müssen überwacht werden, um Ausfälle zu vermeiden und sicherzustellen, dass sie deinem Unternehmen einen geschäftlichen Mehrwert bieten. In diesem Kurs lernst du die grundlegenden Konzepte zum Aufbau eines robusten Überwachungssystems für deine Modelle in der Produktion kennen.
<br><br>
<h2>Entdecke den perfekten Monitoring-Workflow</h2>
Der Kurs fängt damit an, wo man mit der Überwachung in der Produktion anfangen sollte und wie man die Prozesse drum herum aufbaut. Wir zeigen dir anhand von Beispielen aus der Praxis, wie du Probleme erkennst, die Ursachen findest und sie löst.
<br><br>
<h2>Entdecke die Herausforderungen bei der Überwachung von Modellen in der Produktion</h2>
Ein Modell in der Produktion einzusetzen, ist nur der Anfang vom Modelllebenszyklus. Auch wenn es während der Entwicklung gut läuft, kann es wegen ständig wechselnder Produktionsdaten schiefgehen. In diesem Kurs schaust du dir an, wie schwierig es ist, die Leistung eines Modells zu überwachen, vor allem wenn es keine Referenzwerte gibt.
<br><br>
<h2> Verstehe genau, was Kovariatenverschiebung und Konzeptdrift bedeuten</h2>
Der letzte Teil dieses Kurses dreht sich um zwei Arten von stillen Modellfehlern. Du wirst die verschiedenen Arten von Kovariatenverschiebungen und Konzeptdrift, ihren Einfluss auf die Modellleistung sowie deren Erkennung und Vermeidung im Detail verstehen.

MLOps Concepts

Supervised Learning with scikit-learn

Erfahren Sie mehr über Herausforderungen bei der Überwachung von ML-Modellen, wie Daten- und Konzeptdrift.

Überwachung von Machine-Learning-Konzepten

Dieser Kurs macht dich vertraut mit den Herausforderungen bei der Überwachung von Machine-Learning-Modellen im Produktivbetrieb.

Ingenieur für maschinelles Lernen

Machine Learning in der Produktion in Python

Die multivariate Drift-Erkennung misst Änderungen in der gemeinsamen Verteilung, um einen Covariate Shift zu identifizieren

Die Jensen-Shannon-Distanz misst Ähnlichkeit mithilfe der KL-Divergenz

Die Kolmogorov-Smirnov-Methode kann Fehlalarme (False Positives) auslösen

Chi-Quadrat-Test und L-Unendlich-Methode funktionieren sowohl für kontinuierliche als auch für kategoriale Merkmale

Der in der multivariaten Drift-Erkennung verwendete PCA-Algorithmus erweitert die Daten zur besseren Analyse in eine höhere Dimension

Verschiedene Methoden

Überwachung von Machine-Learning-Konzepten

Interaktive Übung