Neste capítulo, você vai conhecer a biblioteca NannyML e suas funções fundamentais. Primeiro, você vai aprender o processo de preparar dados brutos para criar conjuntos de referência e de análise prontos para o monitoramento em produção. Como exemplo prático, você vai investigar a previsão do valor da gorjeta em corridas de táxi em Nova York. No fim do capítulo, você também vai descobrir como estimar o desempenho do modelo de previsão de gorjetas usando o NannyML.

O que é o NannyML?

Principais recursos do NannyML

Carregar o conjunto de dados

Preparação de dados para o NannyML

Período de referência ou de análise?

Carregando e dividindo os dados

Criando conjuntos de referência e de análise

Estimativa de desempenho

Especifique o algoritmo e o tipo de problema

Interpretando resultados

Fluxo de trabalho CBPE e DLE

Estimativa de performance para a previsão de gorjetas

Preparação de dados e estimativa de desempenho

Neste capítulo, você será apresentado aos calculadores de desempenho realizado usados quando a verdade de terreno fica disponível. Você vai aprender métodos mais avançados para trabalhar com resultados, incluindo filtrar, plotar, converter para data frames, fazer chunking e definir limites personalizados. Por fim, você vai aplicar esse conhecimento para calcular o valor de negócio de um modelo treinado no conjunto de dados de reservas de hotel.

Quando as labels estão disponíveis

Quando a estimativa de desempenho sai do esperado

Comparando a performance estimada e a realizada

Trabalhando com resultados calculados e estimados

Diferentes métodos de divisão em chunks

Modificando os limites (thresholds)

Interagindo com os resultados

Cálculo e estimativa de valor de negócio

Cálculo do valor de negócio

Queda no valor monetário

Cálculo de negócio para o conjunto de dados de reservas de hotel

Monitorando desempenho e valor de negócio

Após detectar a degradação de desempenho no modelo de reservas de hotel, você vai aprender a identificar o problema subjacente que a causa. Neste capítulo, você conhecerá métodos de detecção de drift multivariado e univariado. Você também vai aprender a identificar problemas de qualidade dos dados e como tratar as causas que forem detectadas.

Detecção de drift multivariado

Identificando deriva(s) relevante(s)

Drift no conjunto de dados de reservas de hotel

Detecção de drift univariado

Detecção de drift univariado no conjunto de dados de reservas de hotel

Classificando os resultados univariados

Visualizando variáveis com deriva

Verificações de qualidade de dados e estatísticas

Verificações de qualidade dos dados

Estatísticas resumidas

Resolução de problemas

Qual é a resolução?

Você deve não fazer nada ou fazer algo?

Implementando um fluxo de monitoramento

Parabéns

Análise de causa raiz e resolução de problemas

Green Taxi Dataset

Hotel Booking Analysis Dataset

Hotel Booking Reference Dataset

Monitorar modelos de Machine Learning garante o sucesso de longo prazo dos seus projetos. O monitoramento pode ser bem complexo. Ainda assim, há pacotes Python que ajudam você a entender como seus modelos estão performando, o que mudou nos dados que pode ter levado a uma queda de desempenho e dão pistas sobre o que fazer para colocar seus modelos de volta nos trilhos. Este curso cobre tudo o que você precisa para construir um sistema básico de monitoramento em Python, usando o popular pacote de monitoramento, nannyml.


<h2>Aprenda a monitorar seus modelos de ML em Python</h2>

Monitorar os modelos de machine learning garante o sucesso a longo prazo dos seus projetos de machine learning. O monitoramento pode ser bem complicado, mas tem pacotes Python que ajudam a entender como nossos modelos estão se saindo, quais dados mudaram e podem ter causado uma queda no desempenho, além de dar dicas sobre o que precisamos fazer para colocar nossos modelos de volta no programa. Este curso aborda tudo o que você precisa saber para criar um sistema básico de monitoramento em Python, usando o popular pacote de monitoramento nannyml.

<h2>Entenda o fluxo de trabalho ideal para monitoramento</h2>

O monitoramento de modelos não é só sobre calcular o desempenho do modelo na produção. Infelizmente, não é tão fácil assim. Principalmente quando é difícil encontrar rótulos. Este curso vai te ensinar sobre o fluxo de trabalho ideal para monitoramento. Isso vai garantir que você sempre perceba falhas no modelo, evite o cansaço de alertas e chegue rapidamente à raiz do problema.

<h2>Aprenda a descobrir a causa principal dos problemas de desempenho do modelo</h2>

Outra parte importante do monitoramento de modelos é a análise da causa raiz. Este curso vai mostrar como usar técnicas de detecção de desvio de dados para descobrir a causa principal dos problemas de desempenho do modelo. Você vai aprender a usar técnicas de detecção de desvio de dados univariadas e multivariadas para descobrir as possíveis causas dos problemas do modelo.




Monitoring Machine Learning Concepts

Este curso ensina a criar um sistema básico de monitoramento de aprendizado de máquina em Python.

Monitoramento de Machine Learning em Python

Este curso aborda o que você precisa para criar um sistema básico de monitoramento de aprendizado de máquina em Python.

Engenheiro de machine learning

Aprendizado de máquina na produção em Python

Data Scientist

When labels are available

Estimated vs realized performance

Delayed ground truth

Performance calculator

Plot the results

Realized and estimated performance

Let's practice!

Monitorando desempenho e valor de negócio - Quando as labels estão disponíveis

Quando as labels estão disponíveis

Create Your Free Account