Primul capitol explică de ce companiile trebuie să monitorizeze modelele de machine learning în producție. Vei învăța despre fluxul ideal de monitorizare și pașii implicați, precum și despre unele dintre provocările pe care le pot întâmpina sistemele de monitorizare în producție.

De ce trebuie să îți monitorizezi modelul

De ce eșuează modelele?

Beneficiile sistemelor de monitorizare

Fluxul ideal de monitorizare

Importanța monitorizării KPI-urilor

Fluxul de monitorizare într-un scenariu real

Provocările monitorizării modelelor ML

Adevărul de referință întârziat

Covariate shift vs. concept drift

Ce este monitorizarea ML

În Capitolul 2, vei descoperi importanța fundamentală a monitorizării performanței într-un sistem de monitorizare fiabil. Vom explora provocările frecvente din mediile de producție reale, cum ar fi disponibilitatea adevărului de referință. La finalul capitolului, vei ști cum să gestionezi situațiile în care datele de adevăr de referință întârzie sau lipsesc, folosind algoritmi de estimare a performanței.

Monitorizarea directă a performanței tehnice

De ce performanța este prioritară?

Tipuri de schimbări de covariate

Disponibilitatea datelor de referință (ground truth)

Este necesară estimarea performanței?

Monitorizarea performanței în producție

Estimarea performanței

Considerații privind CBPE

Estimarea performanței în producție

Algoritmi pentru estimarea performanței

Concepte teoretice ale monitorizării

Acum că știi elementele de bază ale schimbării covariatelor și ale driftului conceptual în producție, hai să aprofundăm puțin. La finalul acestui capitol, vei cunoaște diferitele metode de detectare și gestionare a acestora în scenarii reale.

Ce este schimbarea de covarianță?

Caracteristici interschimbate

Metoda de detectare a derivei

Cum se detectează covariate shift

Modificări subtile

Opțiuni

Adevărat

Fals

Metode diferite

Ce este concept drift-ul?

Tipul de concept drift

Interacțiunea dintre concept drift și covariate shift

Cum să gestionezi concept drift-ul?

Adaptare în timp real

Detectarea și rezolvarea concept drift

Rezumat

Detecția schimbării covariatelor și a driftului conceptual

Pentru a asigura succesul pe termen lung al modelelor de machine learning, este esențial să știi cum să le monitorizezi eficient în producție. Pe măsură ce machine learning-ul este adoptat tot mai larg în mediul de afaceri, știința datelor post-deployment devine un domeniu din ce în ce mai important. Acest curs acoperă toate conceptele esențiale legate de monitorizarea sistemelor de machine learning în producție, pentru a menține valoarea de business, a reduce riscul de eșec și a crește vizibilitatea.

<h2> Concepte de monitorizare a învățării automate</h2>
Modelele de învățare automată influențează din ce în ce mai multe decizii în lumea reală. Aceste modele au nevoie de monitorizare pentru a preveni eșecul și pentru a se asigura că oferă valoare de business companiei tale. Acest curs vă va introduce în conceptele fundamentale ale creării unui sistem robust de monitorizare pentru modelele dvs. în producție.
<br><br>
<h2>Descoperă fluxul de lucru ideal pentru monitorizare</h2>
Cursul începe cu planul de unde să începi monitorizarea în producție și cum să structurezi procesele din jurul acesteia. Vom acoperi fluxul de lucru de bază, arătându-ți cum să detectezi problemele, să identifici cauzele principale și să le rezolvi cu exemple din lumea reală.
<br><br>
<h2>Explorează provocările monitorizării modelelor în producție</h2>
Implementarea unui model în producție este doar începutul ciclului de viață al modelului. Chiar dacă funcționează bine în timpul dezvoltării, poate eșua din cauza datelor de producție aflate în continuă schimbare. În acest curs, vei explora dificultățile monitorizării performanței unui model, mai ales atunci când nu există adevăr de referință.
<br><br>
<h2> Înțelege în detaliu covariate shift și concept drift</h2>
Ultima parte a acestui curs se va concentra pe două tipuri de eșec silențios al modelului. Vei înțelege în detaliu diferitele tipuri de covariate shifts și concept drift, influența lor asupra performanței modelului și cum să le detectezi și să le previi.

MLOps Concepts

Supervised Learning with scikit-learn

Aflați despre provocările monitorizării modelelor ML în producție și metode de a aborda degradarea.

Monitorizarea conceptelor de Machine Learning

Inginer de învățare automată

Învățarea automată în producție în Python

Metoda de detectare a driftului multivariat măsoară modificările din distribuția comună pentru a identifica un covariate shift

Distanța Jensen-Shannon măsoară similaritatea folosind divergența KL

Metoda Kolmogorov-Smirnov poate genera alerte fals pozitive

Testul chi-pătrat și metoda L-infinity funcționează atât pentru caracteristici continue, cât și pentru cele categoriale

Algoritmul PCA utilizat în detectarea driftului multivariat extinde datele într-o dimensiune mai mare pentru o analiză mai bună

Metode diferite

Monitorizarea conceptelor de Machine Learning

Exercițiu interactiv practic