O primeiro capítulo explicará por que as empresas precisam monitorar seus modelos de machine learning na produção. Você aprenderá sobre o fluxo de trabalho de monitoramento ideal e as etapas envolvidas, bem como alguns dos desafios que os sistemas de monitoramento podem enfrentar na produção.

Por que você precisa monitorar seu modelo

Por que os modelos falham?

Os benefícios dos sistemas de monitoramento

O fluxo de trabalho de monitoramento ideal

A importância de monitorar KPIs

Fluxo de trabalho de monitoramento ideal

Monitoramento do fluxo de trabalho em um cenário real

Desafios do monitoramento dos modelos ML

Verdade terrestre atrasada

Mudança de covariável vs. mudança de conceito

O que é o monitoramento ML  

No Capítulo 2, você descobrirá a importância fundamental do monitoramento de desempenho em um sistema de monitoramento confiável. Exploraremos os desafios comuns enfrentados em ambientes de produção do mundo real, como a disponibilidade da verdade terrestre. Ao final do capítulo, você saberá como lidar com situações em que os dados da verdade terrestre estão atrasados ou ausentes, usando algoritmos de estimativa de desempenho.

Monitoramento direto do desempenho técnico

Por que o desempenho em primeiro lugar?

Diferentes mudanças de covariáveis

Disponibilidade da verdade básica

É necessária uma estimativa de desempenho?

Monitoramento de desempenho na produção

Estimativa de desempenho

CBPE considerações

Estimativa de desempenho na produção

Algoritmos para estimativa de desempenho

Conceitos teóricos de monitoramento 

Agora que você conhece os conceitos básicos de mudança de covariável e desvio de conceito na produção, vamos nos aprofundar um pouco mais. Ao final deste capítulo, você conhecerá as diferentes maneiras de detectar e lidar com eles em cenários reais.

O que é mudança de covariável?

Recursos trocados

Método de detecção de desvio

Como detectar a mudança de covariável

Mudanças sutis

Opções

Verdadeiro

Falso

Métodos diferentes

O que é mudança de conceito?

Tipo de desvio de conceito

Desvio de conceito e interação de mudança de covariável

Como lidar com a mudança de conceito?

Adaptação em tempo real

Detecção e resolução de desvios de conceito

Resumo

Mudança de covariável e detecção de desvio de conceito

Para garantir o sucesso a longo prazo dos modelos de machine learning, é essencial que você entenda como monitorá-los efetivamente na produção. À medida que o machine learning se torna mais amplamente adotado no mundo dos negócios, a ciência de dados pós-implantação está surgindo como um campo importante. Este curso aborda todos os conceitos essenciais relacionados ao monitoramento de sistemas de machine learning na produção, a fim de manter o valor comercial, reduzir o risco de falhas e aumentar a visibilidade.

<h2> Conceitos de monitoramento de machine learning</h2>
Os modelos de machine learning influenciam cada vez mais decisões no mundo real. Esses modelos precisam ser monitorados para evitar falhas e garantir que forneçam valor comercial à sua empresa. Este curso apresentará a você os conceitos fundamentais da criação de um sistema de monitoramento robusto para seus modelos em produção.
<br><br>
<h2>Descubra o fluxo de trabalho de monitoramento ideal</h2>
O curso começa com o plano de onde começar o monitoramento na produção e como estruturar os processos em torno dele. Cobriremos o fluxo de trabalho básico, mostrando a você como detectar os problemas, identificar as causas principais e resolvê-los com exemplos do mundo real.
<br><br>
<h2>Explore os desafios de monitorar modelos na produção</h2>
A implantação de um modelo em produção é apenas o início do ciclo de vida do modelo. Mesmo que tenha um bom desempenho durante o desenvolvimento, ele pode falhar devido à mudança contínua dos dados de produção. Neste curso, você explorará as dificuldades de monitorar o desempenho de um modelo, especialmente quando não há verdade fundamental.
<br><br>
<h2> Entenda em detalhes a mudança de covariável e o desvio de conceito</h2>
A última parte deste curso se concentrará em dois tipos de falha de modelo silencioso. Você entenderá detalhadamente os diferentes tipos de mudanças de covariáveis e desvios de conceito, sua influência no desempenho do modelo e como detectá-los e evitá-los.

MLOps Concepts

Supervised Learning with scikit-learn

Conheça os desafios de monitorar modelos de ML em produção e métodos para lidar com a degradação.

Monitoramento de conceitos de machine learning

Conheça os desafios de monitorar modelos de ML em produção, como deriva de dados e conceito, e métodos para resolver.

Engenheiro de machine learning

Aprendizado de máquina na produção em Python

Co-founder and CEO of NannyML

How to detect covariate shift

Multivariate drift detection

Univariate drift detection

Continuous methods - Jensen-Shannon

Continuous methods - Wasserstein

Continuous methods - Kolmogorov-Smirnov

Continuous methods - Hellinger

Categorical methods - Chi-squared

Categorical methods - L-infinity

Categorical methods - Jensen-Shannon and Hellinger

Let's practice!

Mudança de covariável e detecção de desvio de conceito - Como detectar a mudança de covariável