The first chapter will explain why businesses need to monitor your machine  learning models in production. You will learn about the ideal monitoring  workflow and the steps involved, as well as some of the challenges that  monitoring systems can face in production.

Why you need to monitor your model

Why models fail?

The benefits of monitoring systems

The ideal monitoring workflow

The importance of monitoring KPIs

Ideal monitoring workflow

Monitoring workflow in real-life scenario

Challenges of monitoring ML models

Delayed ground truth

Covariate shift vs concept drift

What is ML Monitoring 

In Chapter 2, you'll discover the fundamental importance of performance  monitoring in a reliable monitoring system. We'll explore the common challenges faced in real-world production environments, such as the availability of ground truth. By the end of the chapter, you'll know how to handle situations when ground truth data is delayed or absent , using performance estimation algorithms.

Monitoring technical performance directly

Why performance first?

Different covariate shifts

Availability of ground truth

Is performance estimation required?

Performance monitoring in production

Performance estimation

CBPE considerations

Performance estimation in production

Algorithms for performance estimation

Theoretical Concepts of monitoring 

Now that you know the basics of covariate shift and concept drift in production, let''s dive a little bit deeper. At the end of this chapter, you will know the different ways to detect and handle them in real-world scenarios.

Apa itu covariate shift?

Fitur yang tertukar

Metode deteksi drift

Cara mendeteksi pergeseran kovariat

Perubahan halus

Opsi

Benar

Salah

Metode yang berbeda

Apa itu concept drift?

Jenis concept drift

Interaksi concept drift dan covariate shift

Bagaimana menangani concept drift?

Adaptasi real-time

Deteksi dan penyelesaian concept drift

Rangkuman

Covariate Shift and Concept Drift Detection

Untuk memastikan keberhasilan jangka panjang model machine learning, penting untuk memahami cara memantau kinerjanya secara efektif di lingkungan produksi. Seiring adopsi machine learning yang semakin luas di dunia bisnis, data science pascadeploy muncul sebagai bidang yang penting. Kursus ini membahas semua konsep penting terkait monitoring sistem machine learning di produksi, guna menjaga nilai bisnis, mengurangi risiko kegagalan, dan meningkatkan visibilitas.

<h2> Konsep Pemantauan Pembelajaran Mesin</h2>
Model pembelajaran mesin semakin banyak mempengaruhi keputusan di dunia nyata. Model-model ini memerlukan pemantauan untuk mencegah kegagalan dan memastikan bahwa mereka memberikan nilai bisnis bagi perusahaan Anda. Kursus ini akan memperkenalkan Anda pada konsep dasar dalam membangun sistem pemantauan yang andal untuk model-model Anda yang sedang beroperasi.
<br><br>
<h2>Temukan Alur Kerja Pemantauan yang Ideal</h2>
Kursus ini dimulai dengan gambaran umum tentang di mana harus memulai pemantauan di lingkungan produksi dan bagaimana mengatur proses-proses di sekitarnya. Kami akan membahas alur kerja dasar dengan menunjukkan kepada Anda cara mendeteksi masalah, mengidentifikasi penyebab utama, dan menyelesaikannya dengan contoh-contoh nyata.
<br><br>
<h2>Jelajahi Tantangan dalam Memantau Model di Lingkungan Produksi</h2>
Menerapkan model dalam produksi hanyalah awal dari siklus hidup model. Meskipun kinerjanya baik selama pengembangan, sistem tersebut dapat gagal akibat data produksi yang terus berubah. Dalam kursus ini, Anda akan mempelajari tantangan dalam memantau kinerja model, terutama ketika tidak ada data acuan yang akurat.
<br><br>
<h2> Memahami Secara Rinci Pergeseran Kovariat dan Pergeseran Konsep</h2>
Bagian terakhir dari kursus ini akan fokus pada dua jenis kegagalan model yang tidak terdeteksi. Anda akan memahami secara rinci berbagai jenis pergeseran kovariat dan pergeseran konsep, pengaruhnya terhadap kinerja model, serta cara mendeteksi dan mencegahnya.

MLOps Concepts

Supervised Learning with scikit-learn

Pelajari tantangan memantau model ML di produksi, termasuk data drift dan cara atasi degradasi model.

Konsep Monitoring Machine Learning

Insinyur Pembelajaran Mesin

Penerapan Machine Learning dalam Produksi dalam Python

Metode deteksi drift multivariat mengukur perubahan pada distribusi gabungan untuk mengidentifikasi covariate shift

Jarak Jensen–Shannon mengukur kemiripan menggunakan divergensi KL

Metode Kolmogorov–Smirnov dapat menghasilkan peringatan positif palsu

Uji chi-kuadrat dan metode L-infinity berfungsi untuk fitur kontinu dan kategorikal

Algoritma PCA yang digunakan dalam deteksi drift multivariat memperluas data ke dimensi yang lebih tinggi untuk analisis yang lebih baik

Metode yang berbeda

Konsep Monitoring Machine Learning

Latihan interaktif praktis