Det första kapitlet förklarar varför företag behöver övervaka sina maskininlärningsmodeller i produktion. Du lär dig om det ideala övervakningsflödet och de steg som ingår, samt några av de utmaningar som övervakningssystem kan stöta på i produktion.

Varför du behöver övervaka din modell

Varför misslyckas modeller?

Fördelarna med övervakningssystem

Det ideala övervakningsflödet

Varför det är viktigt att övervaka KPI:er

Idealt övervakningsarbetsflöde

Övervakningsarbetsflöde i ett verkligt scenario

Utmaningar med att övervaka maskininlärningsmodeller

Fördröjd grundsanning

Kovariatskift vs konceptdrift

Vad är ML-övervakning?

I kapitel 2 får du lära dig hur central prestandaövervakning är för ett tillförlitligt övervakningssystem. Vi utforskar vanliga utmaningar i verkliga produktionsmiljöer, till exempel tillgången till facit. I slutet av kapitlet vet du hur du hanterar situationer där facitdata är fördröjd eller saknas, med hjälp av algoritmer för prestandauppskattning.

Övervaka teknisk prestanda direkt

Varför prioritera prestanda?

Olika typer av kovariatskifte

Tillgänglighet av facit

Krävs prestandaestimering?

Prestandaövervakning i produktion

Prestandauppskattning

Överväganden kring CBPE

Prestandaestimering i produktion

Algoritmer för prestandauppskattning

Teoretiska koncept inom övervakning

Nu när du känner till grunderna om kovariansförskjutning och konceptdrift i produktion är det dags att gå lite djupare. I slutet av det här kapitlet känner du till olika sätt att identifiera och hantera dem i verkliga scenarier.

Vad är kovariatskifte?

Ombytta särdrag

Metod för driftdetektering

Hur man detekterar kovariatskifte

Subtila förändringar

Alternativ

Sant

Falskt

Olika metoder

Vad är konceptdrift?

Typ av konceptdrift

Interaktion mellan konceptdrift och kovariatskift

Hur hanterar man konceptdrift?

Anpassning i realtid

Detektering och hantering av konceptdrift

Sammanfattning

Kovariansförskjutning och konceptdrift – identifiering

För att säkerställa den långsiktiga framgången för maskininlärningsmodeller är det viktigt att förstå hur man övervakar dem effektivt i produktion. I takt med att maskininlärning används allt mer i affärsvärlden växer efterdriftsdata science fram som ett viktigt område. Den här kursen täcker alla centrala koncept inom övervakning av maskininlärningssystem i produktion, i syfte att bibehålla affärsvärde, minska risken för fel och öka synligheten.

<h2> Koncept för övervakning av maskininlärning</h2>
Maskininlärningsmodeller påverkar allt fler beslut i den verkliga världen. Dessa modeller behöver övervakning för att förhindra fel och säkerställa att de ger affärsvärde till ditt företag. Den här kursen introducerar dig till de grundläggande koncepten för att skapa ett robust övervakningssystem för dina modeller i produktion.
<br><br>
<h2>Upptäck det perfekta arbetsflödet för övervakning</h2>
Kursen börjar med en plan för var du ska börja övervaka i produktion och hur du ska strukturera processerna kring det. Vi går igenom det grundläggande arbetsflödet genom att visa hur du upptäcker problemen, identifierar grundorsakerna och löser dem med verkliga exempel.
<br><br>
<h2>Utforska utmaningarna med att övervaka modeller i produktion</h2>
Att driftsätta en modell i produktion är bara början på modellens livscykel. Även om den presterar bra under utvecklingen kan den misslyckas på grund av ständigt föränderliga produktionsdata. I den här kursen kommer du att utforska svårigheterna med att övervaka en modells prestanda, särskilt när det inte finns någon sanningskälla.
<br><br>
<h2> Förstå i detalj kovariatförskjutning och konceptdrift</h2>
Den sista delen av den här kursen kommer att fokusera på två typer av tyst modellfel. Du kommer att förstå i detalj de olika typerna av kovariatförskjutningar och konceptdrift, deras påverkan på modellens prestanda, samt hur du kan upptäcka och förebygga dem.

MLOps Concepts

Supervised Learning with scikit-learn

Lär dig om utmaningar med att övervaka ML-modeller i produktion, som data- och konceptdrift.

Övervakning av maskininlärningskoncept

Lär dig utmaningarna med att övervaka maskininlärningsmodeller i produktion, inklusive data- och konceptdrift, samt metoder för att motverka modellförsämring.

Maskininlärningsingenjör

Maskininlärning i produktion i Python

Omträning av modeller är en kostsam lösning för att hantera konceptdrift i stora modeller och vid stora datamängder

Periodisk omträning gör det möjligt att hålla modellen uppdaterad med aktuella mönster

Återkommande konceptdrift kan uppstå i samband med händelser som Black Friday eller jul

Online learning är känslig för brusig data, vilket kan leda till att modellen förbättras

Felbaserade metoder kräver ingen facit-data (ground truth)

Att detektera konceptdrift med hjälp av en ny modell tränad på test- och produktionsdata är en billig lösning

Detektering och hantering av konceptdrift

Övervakning av maskininlärningskoncept

Interaktiv övning med praktiskt arbete