Pada bab ini, Anda akan diperkenalkan pada pustaka NannyML dan fungsi-fungsi dasarnya. Pertama, Anda akan mempelajari proses menyiapkan data mentah untuk membuat himpunan referensi dan analisis yang siap untuk pemantauan produksi. Sebagai contoh praktis, Anda akan menyelidiki prediksi jumlah tip untuk perjalanan taksi di New York. Di akhir bab, Anda juga akan mempelajari cara mengestimasi kinerja model prediksi tip menggunakan NannyML.

Apa itu NannyML?

Fitur utama NannyML

Muat himpunan data

Persiapan data untuk NannyML

Opsi

Periode referensi

Periode analisis

Periode referensi atau analisis?

Memuat dan membagi data

Membuat himpunan referensi dan analisis

Estimasi kinerja

Tentukan algoritma dan jenis masalah

Menafsirkan hasil

Alur kerja CBPE dan DLE

Estimasi kinerja untuk prediksi tip

Persiapan Data dan Estimasi Kinerja

Pada bab ini, Anda akan diperkenalkan pada kalkulator kinerja terealisasi yang digunakan saat ground truth tersedia. Anda akan mempelajari metode yang lebih lanjut untuk menangani hasil, termasuk memfilter, membuat plot, mengonversinya ke data frame, melakukan chunking, dan menetapkan ambang kustom. Terakhir, Anda akan menerapkan pengetahuan ini untuk menghitung nilai bisnis dari model yang dilatih pada himpunan data pemesanan hotel.

Ketika label tersedia

Saat estimasi kinerja meleset

Membandingkan performa terestimasi dan terealisasi

Bekerja dengan hasil yang dihitung dan diestimasi

Berbagai metode chunking

Memodifikasi ambang batas

Berinteraksi dengan hasil

Perhitungan dan estimasi nilai bisnis

Perhitungan nilai bisnis

Penurunan nilai moneter

Perhitungan bisnis untuk himpunan data pemesanan hotel

Memantau Kinerja dan Nilai Bisnis

Setelah mendeteksi degradasi kinerja pada model pemesanan hotel, kini Anda akan mempelajari cara mengidentifikasi masalah mendasar yang menyebabkannya. Pada bab ini, Anda akan diperkenalkan pada metode deteksi drift multivariat dan univariat. Anda juga akan mempelajari cara mengidentifikasi isu kualitas data dan bagaimana menangani masalah mendasar yang Anda temukan.

Deteksi drift multivariat

Mengidentifikasi drift yang relevan

Drift pada himpunan data pemesanan hotel

Deteksi drift univariat

Deteksi drift univariat untuk himpunan data pemesanan hotel

Memeringkat hasil univariat

Memvisualisasikan fitur yang mengalami drift

Pemeriksaan kualitas data dan statistik

Pemeriksaan kualitas data

Statistik ringkasan

Penyelesaian masalah

Apa penyelesaiannya?

Haruskah Anda tidak melakukan apa pun atau tidak?

Menerapkan alur kerja monitoring

Selamat

Analisis Akar Masalah dan Penyelesaian Isu

Green Taxi Dataset

Hotel Booking Analysis Dataset

Hotel Booking Reference Dataset

Memantau model Machine Learning memastikan keberhasilan jangka panjang proyek Machine Learning Anda. Pemantauan bisa sangat kompleks. Namun, ada paket Python yang membantu kita memahami kinerja model, data apa yang berubah hingga menyebabkan penurunan kinerja, serta memberi petunjuk tentang langkah yang perlu dilakukan agar model kembali optimal. Kursus ini membahas semua yang perlu Anda ketahui untuk membangun sistem pemantauan dasar di Python menggunakan paket pemantauan populer, nannyml.


<h2>Pelajari cara memantau model ML Anda di Python</h2>

Pemantauan model pembelajaran mesin memastikan kesuksesan jangka panjang proyek pembelajaran mesin Anda. Pemantauan dapat sangat kompleks, namun terdapat paket Python yang dapat membantu kita memahami bagaimana model kita berkinerja, data apa yang telah berubah yang mungkin menyebabkan penurunan kinerja, dan memberikan petunjuk tentang apa yang perlu kita lakukan untuk mengembalikan model kita ke jalur yang benar. Kursus ini mencakup semua yang perlu Anda ketahui untuk membangun sistem pemantauan dasar menggunakan Python, dengan memanfaatkan paket monitor populer, nannyml.

<h2>Memahami alur kerja pemantauan yang optimal</h2>

Pemantauan model tidak hanya sekadar menghitung kinerja model dalam produksi. Sayangnya, hal itu tidak semudah itu. Terutama ketika label sulit didapatkan. Kursus ini akan mengajarkan Anda tentang alur kerja pemantauan yang optimal. Hal ini akan memastikan bahwa Anda selalu mendeteksi kegagalan model, menghindari kelelahan akibat peringatan berlebihan, dan dengan cepat menemukan akar masalahnya.

<h2>Pelajari cara menemukan akar masalah kinerja model.</h2>

Komponen penting lainnya dalam pemantauan model adalah analisis akar penyebab. Kursus ini akan membahas cara menggunakan teknik deteksi pergeseran data untuk mengidentifikasi akar masalah yang menyebabkan penurunan kinerja model. Anda akan belajar cara menggunakan teknik deteksi pergeseran data univariat dan multivariat untuk mengidentifikasi potensi penyebab utama masalah model.




Monitoring Machine Learning Concepts

Kursus ini mencakup semua yang perlu Anda ketahui untuk membangun sistem pemantauan ML dasar di Python.

Pemantauan Machine Learning dengan Python

Kursus ini mencakup semua yang perlu Anda ketahui untuk membangun sistem pemantauan machine learning dasar menggunakan Python.

Insinyur Pembelajaran Mesin

Penerapan Machine Learning dalam Produksi dalam Python

Menggunakan pengetahuan yang didapat dari himpunan sebelumnya

Dibuat menggunakan data masukan terbaru dan prediksi model

Periode referensi atau analisis?

Pemantauan Machine Learning dengan Python

Latihan interaktif langsung