In this chapter, you will be introduced to the NannyML library and its fundamental functions. Initially, you will learn the process of preparing raw data to create reference and analysis sets ready for production monitoring. As a practical example, you will investigate predicting the tip amount for taxi rides in New York. Toward the end of the chapter, you will also discover how to estimate the performance of the tip prediction model using NannyML.

What is NannyML?

Key features of NannyML

Load the dataset

Data preparation for NannyML

Reference or analysis period?

Loading and splitting the data

Creating reference and analysis set

Performance estimation

Specify the algorithm and problem type

Interpreting results

CBPE and DLE workflow

Performance estimation for tip prediction

Data Preparation and Performance Estimation

In this chapter, you will be introduced to realized performance calculators used when ground truth becomes available. You will learn about the more advanced methods for handling results, including filtering, plotting, converting them to data frames, chunking, and establishing custom thresholds. Lastly, you'll apply this knowledge to calculate the business value of a model trained on the hotel booking dataset.

When labels are available

When performance estimation is off

Comparing estimated and realized performance

Working with calculated and estimated results

Different chunking methods

Modifying the thresholds

Interacting with results

Business value calculation and estimation

Business value calculation

Drop in monetary value

Business calculation for hotel booking dataset

Monitoring Performance and Business Value

Having detected the performance degradation in the hotel booking model, you will now learn how to identify the underlying issue causing it. In this chapter, you will be introduced to multivariate and univariate drift detection methods. You will also learn how to identify data quality issues and how to address the underlying problems you detect.

Deteksi drift multivariat

Mengidentifikasi drift yang relevan

Drift pada himpunan data pemesanan hotel

Deteksi drift univariat

Deteksi drift univariat untuk himpunan data pemesanan hotel

Memeringkat hasil univariat

Memvisualisasikan fitur yang mengalami drift

Pemeriksaan kualitas data dan statistik

Pemeriksaan kualitas data

Statistik ringkasan

Penyelesaian masalah

Apa penyelesaiannya?

Haruskah Anda tidak melakukan apa pun atau tidak?

Menerapkan alur kerja monitoring

Selamat

Root Cause Analysis and Issue Resolution

Green Taxi Dataset

Hotel Booking Analysis Dataset

Hotel Booking Reference Dataset

Memantau model Machine Learning memastikan keberhasilan jangka panjang proyek Machine Learning Anda. Pemantauan bisa sangat kompleks. Namun, ada paket Python yang membantu kita memahami kinerja model, data apa yang berubah hingga menyebabkan penurunan kinerja, serta memberi petunjuk tentang langkah yang perlu dilakukan agar model kembali optimal. Kursus ini membahas semua yang perlu Anda ketahui untuk membangun sistem pemantauan dasar di Python menggunakan paket pemantauan populer, nannyml.


<h2>Pelajari cara memantau model ML Anda di Python</h2>

Pemantauan model pembelajaran mesin memastikan kesuksesan jangka panjang proyek pembelajaran mesin Anda. Pemantauan dapat sangat kompleks, namun terdapat paket Python yang dapat membantu kita memahami bagaimana model kita berkinerja, data apa yang telah berubah yang mungkin menyebabkan penurunan kinerja, dan memberikan petunjuk tentang apa yang perlu kita lakukan untuk mengembalikan model kita ke jalur yang benar. Kursus ini mencakup semua yang perlu Anda ketahui untuk membangun sistem pemantauan dasar menggunakan Python, dengan memanfaatkan paket monitor populer, nannyml.

<h2>Memahami alur kerja pemantauan yang optimal</h2>

Pemantauan model tidak hanya sekadar menghitung kinerja model dalam produksi. Sayangnya, hal itu tidak semudah itu. Terutama ketika label sulit didapatkan. Kursus ini akan mengajarkan Anda tentang alur kerja pemantauan yang optimal. Hal ini akan memastikan bahwa Anda selalu mendeteksi kegagalan model, menghindari kelelahan akibat peringatan berlebihan, dan dengan cepat menemukan akar masalahnya.

<h2>Pelajari cara menemukan akar masalah kinerja model.</h2>

Komponen penting lainnya dalam pemantauan model adalah analisis akar penyebab. Kursus ini akan membahas cara menggunakan teknik deteksi pergeseran data untuk mengidentifikasi akar masalah yang menyebabkan penurunan kinerja model. Anda akan belajar cara menggunakan teknik deteksi pergeseran data univariat dan multivariat untuk mengidentifikasi potensi penyebab utama masalah model.




Monitoring Machine Learning Concepts

Kursus ini mencakup semua yang perlu Anda ketahui untuk membangun sistem pemantauan ML dasar di Python.

Pemantauan Machine Learning dengan Python

Kursus ini mencakup semua yang perlu Anda ketahui untuk membangun sistem pemantauan machine learning dasar menggunakan Python.

Insinyur Pembelajaran Mesin

Penerapan Machine Learning dalam Produksi dalam Python

Haruskah Anda tidak melakukan apa pun atau tidak?

Pemantauan Machine Learning dengan Python

Latihan interaktif praktis