Das Monitoring-System

Inzwischen ist klar: Eine ML-Anwendung ist viel mehr als nur das Modell, und jede Komponente kann zum Ausfallpunkt werden.

Deshalb ist ein umfassendes Monitoring-System entscheidend, um Probleme in der Produktion schnell zu erkennen und zu beheben.

Welche grundlegenden Funktionen sollte ein solches System haben?

Diese Übung ist Teil des Kurses

<Kurs>MLOps-Bereitstellung und Lebenszyklus</Kurs>

Interaktive praktische Übung

Verwandle Theorie mit einer unserer interaktiven Übungen in die Praxis

Diese Übung ist Teil des Kurses

<Kurs>MLOps-Bereitstellung und Lebenszyklus</Kurs>

Hohe SchwierigkeitSchwierigkeitsgrad

4.8+

Kurs kostenlos starten

Dieses Kapitel gibt einen Überblick über MLOps-Grundsätze und Framework-Komponenten, die für Bereitstellung und Lebenszyklus wichtig sind.

Exercise 1: Das moderne MLOps-Framework Exercise 2: ML-Workflows Exercise 3: Vorteile von MLOps Exercise 4: Phasen des Life-Cycles Exercise 5: App vs. Modell Exercise 6: Ausmusterung Exercise 7: Der Modell-Lebenszyklus: Rückblick Exercise 8: MLOps-Komponenten Exercise 9: Automatisierte Abfolge Exercise 10: Stores und Registries Exercise 11: DevOps oder MLOps?

Dieses Kapitel widmet sich all den Überlegungen, die wir bereits in der Entwicklungsphase anstellen müssen, damit es in der Betriebsphase reibungslos läuft. Unser Ziel ist es zu erklären, wie man das Modell nach MLOps-Best Practices trainiert und ein Modellpaket erstellt, das eine reibungslose Bereitstellung, Reproduzierbarkeit und Monitoring nach der Bereitstellung ermöglicht.

Exercise 1: Deployment-getriebene Entwicklung Exercise 2: Dein Machine-Learning-Modell testen Exercise 3: Der beste Zeitpunkt für den Start der Bereitstellung Exercise 4: Profiling, Versionierung und Feature Stores Exercise 5: Eigenschaften von Feature Stores Exercise 6: Vorteile von Profiling und Feature Store Exercise 7: Reproduzierbarkeit sicherstellen Exercise 8: Modell-Build-Pipelines in CI/CD Exercise 9: Verschiedene Pipelines Exercise 10: Eigenschaften der Model-Build-Pipeline Exercise 11: CI/CD-Integration Exercise 12: Modell-Packaging Exercise 13: Modellformate Exercise 14: Vollständiges Paket

Dieses Kapitel behandelt wichtige Fragen zum Modelbetrieb, zum Beispiel: - Auf welche verschiedenen Arten können wir unsere Modelle bereitstellen? - Was ist eine API und welche Kernfunktionen hat sie? - Wie testen wir unseren Service gründlich, bevor wir ihn Endnutzer:innen zur Verfügung stellen? - Wie aktualisieren wir Modelle in der Produktion ohne Dienstunterbrechung? Du lernst Batch-Vorhersagen, Echtzeitvorhersagen, Validierung von Eingabe- und Ausgabedaten, Unit-Tests, Integrationstests, Canary Deployment und vieles mehr kennen.

Exercise 1: Bereitstellungsmodi Exercise 2: Offline oder online?Exercise 3: Wenn Zeit zählt – ein bisschen Exercise 4: Die API aufbauen Exercise 5: Client-Server Exercise 6: API-Funktionalitäten Exercise 7: Bereitstellungsfortschritt und Tests Exercise 8: Welche Testart ist gemeint?Exercise 9: Fortschritt durch Umgebungen Exercise 10: Tests je Umgebung Exercise 11: Strategien für die Modellbereitstellung Exercise 12: Eine passende Bereitstellungsstrategie Exercise 13: Risikoreihenfolge Exercise 14: Schatten des Schattens

Dieses letzte Kapitel widmet sich dem Überwachen und Warten von ML-Services nach der Bereitstellung sowie der Modellgovernance. Du behandelst zentrale Konzepte wie Verifizierungslatenz, Kovariatendrift, Konzeptdrift, Human-in-the-Loop-Systeme und mehr.

Exercise 1: ML-Services überwachen Exercise 2: Shift vs. Drift Exercise 3: Latenz Exercise 4: Schon jetzt?Exercise 5: Überwachung und Alarmierung Exercise 6: Das Monitoring-System

Aktuelle Übung

Exercise 7: Alerting Exercise 8: Modellwartung Exercise 9: Datenzentriert vs. modellzentriert Exercise 10: Human-in-the-Loop Exercise 11: Modellgovernance Exercise 12: Elemente der Governance Exercise 13: Phasen der Governance Exercise 14: Risikoklassifizierung Exercise 15: Zum Abschluss