In this chapter, you will be introduced to the NannyML library and its fundamental functions. Initially, you will learn the process of preparing raw data to create reference and analysis sets ready for production monitoring. As a practical example, you will investigate predicting the tip amount for taxi rides in New York. Toward the end of the chapter, you will also discover how to estimate the performance of the tip prediction model using NannyML.

What is NannyML?

Key features of NannyML

Load the dataset

Data preparation for NannyML

Reference or analysis period?

Loading and splitting the data

Creating reference and analysis set

Performance estimation

Specify the algorithm and problem type

Interpreting results

CBPE and DLE workflow

Performance estimation for tip prediction

Data Preparation and Performance Estimation

In this chapter, you will be introduced to realized performance calculators used when ground truth becomes available. You will learn about the more advanced methods for handling results, including filtering, plotting, converting them to data frames, chunking, and establishing custom thresholds. Lastly, you'll apply this knowledge to calculate the business value of a model trained on the hotel booking dataset.

Ketika label tersedia

Saat estimasi kinerja meleset

Membandingkan performa terestimasi dan terealisasi

Bekerja dengan hasil yang dihitung dan diestimasi

Berbagai metode chunking

Memodifikasi ambang batas

Berinteraksi dengan hasil

Perhitungan dan estimasi nilai bisnis

Perhitungan nilai bisnis

Penurunan nilai moneter

Perhitungan bisnis untuk himpunan data pemesanan hotel

Monitoring Performance and Business Value

Having detected the performance degradation in the hotel booking model, you will now learn how to identify the underlying issue causing it. In this chapter, you will be introduced to multivariate and univariate drift detection methods. You will also learn how to identify data quality issues and how to address the underlying problems you detect.

Multivariate drift detection

Identifying relevant drifts

Drift in hotel booking dataset

Univariate drift detection

Univariate drift detection for hotel booking dataset

Ranking the univariate results

Visualizing drifting features

Data quality and statistic checks

Data quality checks

Summary statistics

Issue resolution

What is the resolution?

Should you do nothing or not?

Implementing a monitoring workflow

Congratulations

Root Cause Analysis and Issue Resolution

Green Taxi Dataset

Hotel Booking Analysis Dataset

Hotel Booking Reference Dataset

Memantau model Machine Learning memastikan keberhasilan jangka panjang proyek Machine Learning Anda. Pemantauan bisa sangat kompleks. Namun, ada paket Python yang membantu kita memahami kinerja model, data apa yang berubah hingga menyebabkan penurunan kinerja, serta memberi petunjuk tentang langkah yang perlu dilakukan agar model kembali optimal. Kursus ini membahas semua yang perlu Anda ketahui untuk membangun sistem pemantauan dasar di Python menggunakan paket pemantauan populer, nannyml.


<h2>Pelajari cara memantau model ML Anda di Python</h2>

Pemantauan model pembelajaran mesin memastikan kesuksesan jangka panjang proyek pembelajaran mesin Anda. Pemantauan dapat sangat kompleks, namun terdapat paket Python yang dapat membantu kita memahami bagaimana model kita berkinerja, data apa yang telah berubah yang mungkin menyebabkan penurunan kinerja, dan memberikan petunjuk tentang apa yang perlu kita lakukan untuk mengembalikan model kita ke jalur yang benar. Kursus ini mencakup semua yang perlu Anda ketahui untuk membangun sistem pemantauan dasar menggunakan Python, dengan memanfaatkan paket monitor populer, nannyml.

<h2>Memahami alur kerja pemantauan yang optimal</h2>

Pemantauan model tidak hanya sekadar menghitung kinerja model dalam produksi. Sayangnya, hal itu tidak semudah itu. Terutama ketika label sulit didapatkan. Kursus ini akan mengajarkan Anda tentang alur kerja pemantauan yang optimal. Hal ini akan memastikan bahwa Anda selalu mendeteksi kegagalan model, menghindari kelelahan akibat peringatan berlebihan, dan dengan cepat menemukan akar masalahnya.

<h2>Pelajari cara menemukan akar masalah kinerja model.</h2>

Komponen penting lainnya dalam pemantauan model adalah analisis akar penyebab. Kursus ini akan membahas cara menggunakan teknik deteksi pergeseran data untuk mengidentifikasi akar masalah yang menyebabkan penurunan kinerja model. Anda akan belajar cara menggunakan teknik deteksi pergeseran data univariat dan multivariat untuk mengidentifikasi potensi penyebab utama masalah model.




Monitoring Machine Learning Concepts

Kursus ini mencakup semua yang perlu Anda ketahui untuk membangun sistem pemantauan ML dasar di Python.

Pemantauan Machine Learning dengan Python

Kursus ini mencakup semua yang perlu Anda ketahui untuk membangun sistem pemantauan machine learning dasar menggunakan Python.

Insinyur Pembelajaran Mesin

Penerapan Machine Learning dalam Produksi dalam Python

Saat estimasi kinerja meleset

Pemantauan Machine Learning dengan Python

Latihan interaktif praktis