In this chapter, you will be introduced to the NannyML library and its fundamental functions. Initially, you will learn the process of preparing raw data to create reference and analysis sets ready for production monitoring. As a practical example, you will investigate predicting the tip amount for taxi rides in New York. Toward the end of the chapter, you will also discover how to estimate the performance of the tip prediction model using NannyML.

Apa itu NannyML?

Fitur utama NannyML

Muat himpunan data

Persiapan data untuk NannyML

Opsi

Periode referensi

Periode analisis

Periode referensi atau analisis?

Memuat dan membagi data

Membuat himpunan referensi dan analisis

Estimasi kinerja

Tentukan algoritma dan jenis masalah

Menafsirkan hasil

Alur kerja CBPE dan DLE

Estimasi kinerja untuk prediksi tip

Data Preparation and Performance Estimation

In this chapter, you will be introduced to realized performance calculators used when ground truth becomes available. You will learn about the more advanced methods for handling results, including filtering, plotting, converting them to data frames, chunking, and establishing custom thresholds. Lastly, you'll apply this knowledge to calculate the business value of a model trained on the hotel booking dataset.

When labels are available

When performance estimation is off

Comparing estimated and realized performance

Working with calculated and estimated results

Different chunking methods

Modifying the thresholds

Interacting with results

Business value calculation and estimation

Business value calculation

Drop in monetary value

Business calculation for hotel booking dataset

Monitoring Performance and Business Value

Having detected the performance degradation in the hotel booking model, you will now learn how to identify the underlying issue causing it. In this chapter, you will be introduced to multivariate and univariate drift detection methods. You will also learn how to identify data quality issues and how to address the underlying problems you detect.

Multivariate drift detection

Identifying relevant drifts

Drift in hotel booking dataset

Univariate drift detection

Univariate drift detection for hotel booking dataset

Ranking the univariate results

Visualizing drifting features

Data quality and statistic checks

Data quality checks

Summary statistics

Issue resolution

What is the resolution?

Should you do nothing or not?

Implementing a monitoring workflow

Congratulations

Root Cause Analysis and Issue Resolution

Green Taxi Dataset

Hotel Booking Analysis Dataset

Hotel Booking Reference Dataset

Memantau model Machine Learning memastikan keberhasilan jangka panjang proyek Machine Learning Anda. Pemantauan bisa sangat kompleks. Namun, ada paket Python yang membantu kita memahami kinerja model, data apa yang berubah hingga menyebabkan penurunan kinerja, serta memberi petunjuk tentang langkah yang perlu dilakukan agar model kembali optimal. Kursus ini membahas semua yang perlu Anda ketahui untuk membangun sistem pemantauan dasar di Python menggunakan paket pemantauan populer, nannyml.


<h2>Pelajari cara memantau model ML Anda di Python</h2>

Pemantauan model pembelajaran mesin memastikan kesuksesan jangka panjang proyek pembelajaran mesin Anda. Pemantauan dapat sangat kompleks, namun terdapat paket Python yang dapat membantu kita memahami bagaimana model kita berkinerja, data apa yang telah berubah yang mungkin menyebabkan penurunan kinerja, dan memberikan petunjuk tentang apa yang perlu kita lakukan untuk mengembalikan model kita ke jalur yang benar. Kursus ini mencakup semua yang perlu Anda ketahui untuk membangun sistem pemantauan dasar menggunakan Python, dengan memanfaatkan paket monitor populer, nannyml.

<h2>Memahami alur kerja pemantauan yang optimal</h2>

Pemantauan model tidak hanya sekadar menghitung kinerja model dalam produksi. Sayangnya, hal itu tidak semudah itu. Terutama ketika label sulit didapatkan. Kursus ini akan mengajarkan Anda tentang alur kerja pemantauan yang optimal. Hal ini akan memastikan bahwa Anda selalu mendeteksi kegagalan model, menghindari kelelahan akibat peringatan berlebihan, dan dengan cepat menemukan akar masalahnya.

<h2>Pelajari cara menemukan akar masalah kinerja model.</h2>

Komponen penting lainnya dalam pemantauan model adalah analisis akar penyebab. Kursus ini akan membahas cara menggunakan teknik deteksi pergeseran data untuk mengidentifikasi akar masalah yang menyebabkan penurunan kinerja model. Anda akan belajar cara menggunakan teknik deteksi pergeseran data univariat dan multivariat untuk mengidentifikasi potensi penyebab utama masalah model.




Monitoring Machine Learning Concepts

Kursus ini mencakup semua yang perlu Anda ketahui untuk membangun sistem pemantauan ML dasar di Python.

Pemantauan Machine Learning dengan Python

Kursus ini mencakup semua yang perlu Anda ketahui untuk membangun sistem pemantauan machine learning dasar menggunakan Python.

Insinyur Pembelajaran Mesin

Penerapan Machine Learning dalam Produksi dalam Python

Menggunakan pengetahuan yang didapat dari himpunan sebelumnya

Dibuat menggunakan data masukan terbaru dan prediksi model

Periode referensi atau analisis?

Pemantauan Machine Learning dengan Python

Latihan interaktif praktis