Bab pertama akan menjelaskan mengapa bisnis perlu memonitor model machine learning Anda di produksi. Anda akan mempelajari alur kerja monitoring yang ideal beserta langkah-langkahnya, serta beberapa tantangan yang dapat dihadapi sistem monitoring di lingkungan produksi.

Mengapa Anda perlu memantau model Anda

Mengapa model gagal?

Manfaat sistem pemantauan

Alur kerja monitoring yang ideal

Pentingnya memantau KPI

Alur kerja pemantauan yang ideal

Alur kerja monitoring dalam skenario nyata

Tantangan memantau model ML

Ground truth tertunda

Covariate shift vs concept drift

Apa itu Monitoring ML

Di Bab 2, Anda akan memahami pentingnya pemantauan kinerja sebagai fondasi sistem monitoring yang andal. Kita akan membahas tantangan umum yang dihadapi di lingkungan produksi nyata, seperti ketersediaan ground truth. Pada akhir bab, Anda akan mengetahui cara menangani situasi ketika data ground truth tertunda atau tidak tersedia, dengan menggunakan algoritma estimasi kinerja.

Memantau kinerja teknis secara langsung

Mengapa kinerja duluan?

Beragam pergeseran kovariat

Ketersediaan ground truth

Apakah estimasi kinerja diperlukan?

Options

True

False

Pemantauan kinerja di produksi

Estimasi kinerja

Pertimbangan CBPE

Estimasi kinerja di produksi

Opsi

CBPE

Algoritma untuk estimasi kinerja

Konsep Teoretis Monitoring

Sekarang setelah Anda memahami dasar-dasar covariate shift dan concept drift di produksi, mari kita selami lebih dalam. Di akhir bab ini, Anda akan mengetahui berbagai cara untuk mendeteksi dan menanganinya dalam skenario dunia nyata.

Apa itu covariate shift?

Fitur yang tertukar

Metode deteksi drift

Cara mendeteksi pergeseran kovariat

Perubahan halus

Metode yang berbeda

Apa itu concept drift?

Jenis concept drift

Interaksi concept drift dan covariate shift

Bagaimana menangani concept drift?

Adaptasi real-time

Deteksi dan penyelesaian concept drift

Rangkuman

Deteksi Covariate Shift dan Concept Drift

Untuk memastikan keberhasilan jangka panjang model machine learning, penting untuk memahami cara memantau kinerjanya secara efektif di lingkungan produksi. Seiring adopsi machine learning yang semakin luas di dunia bisnis, data science pascadeploy muncul sebagai bidang yang penting. Kursus ini membahas semua konsep penting terkait monitoring sistem machine learning di produksi, guna menjaga nilai bisnis, mengurangi risiko kegagalan, dan meningkatkan visibilitas.

<h2> Konsep Pemantauan Pembelajaran Mesin</h2>
Model pembelajaran mesin semakin banyak mempengaruhi keputusan di dunia nyata. Model-model ini memerlukan pemantauan untuk mencegah kegagalan dan memastikan bahwa mereka memberikan nilai bisnis bagi perusahaan Anda. Kursus ini akan memperkenalkan Anda pada konsep dasar dalam membangun sistem pemantauan yang andal untuk model-model Anda yang sedang beroperasi.
<br><br>
<h2>Temukan Alur Kerja Pemantauan yang Ideal</h2>
Kursus ini dimulai dengan gambaran umum tentang di mana harus memulai pemantauan di lingkungan produksi dan bagaimana mengatur proses-proses di sekitarnya. Kami akan membahas alur kerja dasar dengan menunjukkan kepada Anda cara mendeteksi masalah, mengidentifikasi penyebab utama, dan menyelesaikannya dengan contoh-contoh nyata.
<br><br>
<h2>Jelajahi Tantangan dalam Memantau Model di Lingkungan Produksi</h2>
Menerapkan model dalam produksi hanyalah awal dari siklus hidup model. Meskipun kinerjanya baik selama pengembangan, sistem tersebut dapat gagal akibat data produksi yang terus berubah. Dalam kursus ini, Anda akan mempelajari tantangan dalam memantau kinerja model, terutama ketika tidak ada data acuan yang akurat.
<br><br>
<h2> Memahami Secara Rinci Pergeseran Kovariat dan Pergeseran Konsep</h2>
Bagian terakhir dari kursus ini akan fokus pada dua jenis kegagalan model yang tidak terdeteksi. Anda akan memahami secara rinci berbagai jenis pergeseran kovariat dan pergeseran konsep, pengaruhnya terhadap kinerja model, serta cara mendeteksi dan mencegahnya.

MLOps Concepts

Supervised Learning with scikit-learn

Pelajari tantangan memantau model ML di produksi, termasuk data drift dan cara atasi degradasi model.

Konsep Monitoring Machine Learning

Pelajari tantangan memantau machine learning models di produksi, seperti data dan concept drift, serta cara mengatasi model degradation.

Insinyur Pembelajaran Mesin

Penerapan Machine Learning dalam Produksi dalam Python

Memantau kinerja berada di inti alur kerja pemantauan

Prediksi waktu kedatangan mobil adalah contoh ketika ground truth tersedia segera

Kinerja terealisasi dihitung menggunakan ground truth

Penetapan harga asuransi adalah contoh ketika ground truth tersedia segera

Perubahan yang dekat dengan batas keputusan tidak berdampak negatif pada kinerja

Jika ground truth di produksi tidak ada, maka pemantauan kinerja tidak diperlukan

Pemantauan kinerja di produksi

Konsep Monitoring Machine Learning

Latihan interaktif langsung