In this chapter, you will be introduced to the NannyML library and its fundamental functions. Initially, you will learn the process of preparing raw data to create reference and analysis sets ready for production monitoring. As a practical example, you will investigate predicting the tip amount for taxi rides in New York. Toward the end of the chapter, you will also discover how to estimate the performance of the tip prediction model using NannyML.

What is NannyML?

Key features of NannyML

Load the dataset

Data preparation for NannyML

Reference or analysis period?

Loading and splitting the data

Creating reference and analysis set

Performance estimation

Specify the algorithm and problem type

Interpreting results

CBPE and DLE workflow

Performance estimation for tip prediction

Data Preparation and Performance Estimation

In this chapter, you will be introduced to realized performance calculators used when ground truth becomes available. You will learn about the more advanced methods for handling results, including filtering, plotting, converting them to data frames, chunking, and establishing custom thresholds. Lastly, you'll apply this knowledge to calculate the business value of a model trained on the hotel booking dataset.

When labels are available

When performance estimation is off

Comparing estimated and realized performance

Working with calculated and estimated results

Different chunking methods

Modifying the thresholds

Interacting with results

Business value calculation and estimation

Business value calculation

Drop in monetary value

Business calculation for hotel booking dataset

Monitoring Performance and Business Value

Having detected the performance degradation in the hotel booking model, you will now learn how to identify the underlying issue causing it. In this chapter, you will be introduced to multivariate and univariate drift detection methods. You will also learn how to identify data quality issues and how to address the underlying problems you detect.

Detecção de drift multivariado

Identificando deriva(s) relevante(s)

Drift no conjunto de dados de reservas de hotel

Detecção de drift univariado

Detecção de drift univariado no conjunto de dados de reservas de hotel

Classificando os resultados univariados

Visualizando variáveis com deriva

Verificações de qualidade de dados e estatísticas

Verificações de qualidade dos dados

Estatísticas resumidas

Resolução de problemas

Qual é a resolução?

Você deve não fazer nada ou fazer algo?

Implementando um fluxo de monitoramento

Parabéns

Root Cause Analysis and Issue Resolution

Green Taxi Dataset

Hotel Booking Analysis Dataset

Hotel Booking Reference Dataset

Monitorar modelos de Machine Learning garante o sucesso de longo prazo dos seus projetos. O monitoramento pode ser bem complexo. Ainda assim, há pacotes Python que ajudam você a entender como seus modelos estão performando, o que mudou nos dados que pode ter levado a uma queda de desempenho e dão pistas sobre o que fazer para colocar seus modelos de volta nos trilhos. Este curso cobre tudo o que você precisa para construir um sistema básico de monitoramento em Python, usando o popular pacote de monitoramento, nannyml.


<h2>Aprenda a monitorar seus modelos de ML em Python</h2>

Monitorar os modelos de machine learning garante o sucesso a longo prazo dos seus projetos de machine learning. O monitoramento pode ser bem complicado, mas tem pacotes Python que ajudam a entender como nossos modelos estão se saindo, quais dados mudaram e podem ter causado uma queda no desempenho, além de dar dicas sobre o que precisamos fazer para colocar nossos modelos de volta no programa. Este curso aborda tudo o que você precisa saber para criar um sistema básico de monitoramento em Python, usando o popular pacote de monitoramento nannyml.

<h2>Entenda o fluxo de trabalho ideal para monitoramento</h2>

O monitoramento de modelos não é só sobre calcular o desempenho do modelo na produção. Infelizmente, não é tão fácil assim. Principalmente quando é difícil encontrar rótulos. Este curso vai te ensinar sobre o fluxo de trabalho ideal para monitoramento. Isso vai garantir que você sempre perceba falhas no modelo, evite o cansaço de alertas e chegue rapidamente à raiz do problema.

<h2>Aprenda a descobrir a causa principal dos problemas de desempenho do modelo</h2>

Outra parte importante do monitoramento de modelos é a análise da causa raiz. Este curso vai mostrar como usar técnicas de detecção de desvio de dados para descobrir a causa principal dos problemas de desempenho do modelo. Você vai aprender a usar técnicas de detecção de desvio de dados univariadas e multivariadas para descobrir as possíveis causas dos problemas do modelo.




Monitoring Machine Learning Concepts

Este curso ensina a criar um sistema básico de monitoramento de aprendizado de máquina em Python.

Monitoramento de Machine Learning em Python

Este curso aborda o que você precisa para criar um sistema básico de monitoramento de aprendizado de máquina em Python.

Parabéns

Create Your Free Account