In this chapter, you will be introduced to the NannyML library and its fundamental functions. Initially, you will learn the process of preparing raw data to create reference and analysis sets ready for production monitoring. As a practical example, you will investigate predicting the tip amount for taxi rides in New York. Toward the end of the chapter, you will also discover how to estimate the performance of the tip prediction model using NannyML.

What is NannyML?

Key features of NannyML

Load the dataset

Data preparation for NannyML

Reference or analysis period?

Loading and splitting the data

Creating reference and analysis set

Performance estimation

Specify the algorithm and problem type

Interpreting results

CBPE and DLE workflow

Performance estimation for tip prediction

Data Preparation and Performance Estimation

In this chapter, you will be introduced to realized performance calculators used when ground truth becomes available. You will learn about the more advanced methods for handling results, including filtering, plotting, converting them to data frames, chunking, and establishing custom thresholds. Lastly, you'll apply this knowledge to calculate the business value of a model trained on the hotel booking dataset.

When labels are available

When performance estimation is off

Comparing estimated and realized performance

Working with calculated and estimated results

Different chunking methods

Modifying the thresholds

Interacting with results

Business value calculation and estimation

Business value calculation

Drop in monetary value

Business calculation for hotel booking dataset

Monitoring Performance and Business Value

Having detected the performance degradation in the hotel booking model, you will now learn how to identify the underlying issue causing it. In this chapter, you will be introduced to multivariate and univariate drift detection methods. You will also learn how to identify data quality issues and how to address the underlying problems you detect.

Çok değişkenli sürüklenme tespiti

İlgili kaymaları belirleme

Otel rezervasyonu veri kümesinde kayma (drift)

Tek değişkenli kayma tespiti

Otel rezervasyonu veri kümesi için tek değişkenli kayma tespiti

Tek değişkenli sonuçları sıralama

Drift eden özellikleri görselleştirme

Veri kalitesi ve istatistik kontrolleri

Veri kalitesi kontrolleri

Özet istatistikleri

Sorun çözümü

Çözüm nedir?

Hiçbir şey yapmalı mısın, yapmamalı mısın?

Bir izleme iş akışı uygulama

Tebrikler

Root Cause Analysis and Issue Resolution

Green Taxi Dataset

Hotel Booking Analysis Dataset

Hotel Booking Reference Dataset

Machine Learning modellerini izlemek, projelerinin uzun vadeli başarısını garanti eder. İzleme oldukça karmaşık olabilir. Ancak, modellerimizin nasıl performans gösterdiğini anlamamıza, performans düşüşüne yol açmış olabilecek veri değişimlerini saptamamıza ve modellerimizi yeniden doğru yola sokmak için neler yapmamız gerektiğine dair ipuçları sunan Python paketleri var. Bu kurs, popüler izleme paketi nannyml’yi kullanarak Python’da temel bir izleme sistemi kurmak için bilmen gereken her şeyi kapsar.


<h2>Python'da ML modellerinizi nasıl izleyeceğinizi öğrenin</h2>

Makine öğrenimi modellerini izlemek, makine öğrenimi projelerinizin uzun vadeli başarısını garanti eder. İzleme çok karmaşık olabilir, ancak modellerimizin nasıl çalıştığını, performans düşüşüne neden olabilecek hangi verilerin değiştiğini anlamamıza yardımcı olan ve modellerimizi tekrar rayına oturtmak için ne yapmamız gerektiğine dair ipuçları veren Python paketleri mevcuttur. Bu kurs, popüler monitör paketi nannyml kullanarak Python'da temel bir izleme sistemi oluşturmak için bilmeniz gereken her şeyi kapsar.

<h2>Optimum izleme iş akışını anlayın</h2>

Model izleme, sadece üretimdeki model performansını hesaplamakla sınırlı değildir. Maalesef, bu o kadar kolay değil. Özellikle etiketleri bulmak zor olduğunda. Bu kurs size en uygun izleme iş akışını öğretecektir. Bu, model hatalarını her zaman yakalamanızı, uyarı yorgunluğunu önlemenizi ve sorunun kaynağına hızlı bir şekilde ulaşmanızı sağlayacaktır.

<h2>Model performans sorunlarının temel nedenini bulmayı öğrenin</h2>

Modelleme izlemede bir diğer önemli bileşen ise kök neden analizidir. Bu kurs, model performans sorunlarının temel nedenini bulmak için veri sapma algılama tekniklerinin nasıl kullanılacağını ele alacaktır. Model sorunlarının olası temel nedenlerini ortaya çıkarmak için tek değişkenli ve çok değişkenli veri sapma algılama tekniklerini nasıl kullanacağınızı öğreneceksiniz.




Monitoring Machine Learning Concepts

Bu kurs, Python'da temel bir makine öğrenimi izleme sistemi oluşturmayı öğretir.

Python ile Machine Learning İzleme

Bu kurs, Python'da temel bir makine öğrenimi izleme sistemi oluşturmak için bilmeniz gereken her şeyi kapsar.

Makine Öğrenimi Mühendisi

Üretimde Makine Öğrenimi Python'da

İlgili kaymaları belirleme

Python ile Machine Learning İzleme

Uygulamalı interaktif egzersiz