O primeiro capítulo explica por que as empresas precisam monitorar seus modelos de machine learning em produção. Você vai aprender sobre o fluxo de trabalho ideal de monitoramento e as etapas envolvidas, além de alguns dos desafios que os sistemas de monitoramento podem enfrentar em produção.

Por que você precisa monitorar seu modelo

Por que os modelos falham?

Os benefícios dos sistemas de monitoramento

O fluxo de trabalho ideal de monitoramento

A importância de monitorar KPIs

Fluxo de trabalho ideal de monitoramento

Fluxo de monitoramento em um cenário real

Desafios de monitorar modelos de ML

Verdade de terreno atrasada

Covariate shift vs concept drift

O que é Monitoramento de ML

No Capítulo 2, você vai descobrir a importância fundamental de monitorar o desempenho em um sistema de monitoramento confiável. Vamos explorar os desafios comuns enfrentados em ambientes de produção reais, como a disponibilidade da ground truth. Ao final do capítulo, você saberá como lidar com situações em que os dados de ground truth estão atrasados ou ausentes, usando algoritmos de estimativa de desempenho.

Monitorando diretamente o desempenho técnico

Por que começar pela performance?

Diferentes shifts de covariáveis

Disponibilidade de ground truth

A estimativa de desempenho é necessária?

Monitoramento de performance em produção

Estimativa de desempenho

Considerações sobre CBPE

Estimativa de desempenho em produção

Algoritmos para estimativa de desempenho

Conceitos Teóricos de Monitoramento

Agora que você conhece o básico sobre covariate shift e concept drift em produção, vamos nos aprofundar um pouco mais. Ao final deste capítulo, você conhecerá as diferentes maneiras de detectá-los e tratá-los em cenários do mundo real.

O que é covariate shift?

Variáveis trocadas

Método de detecção de drift

Como detectar covariate shift

Mudanças sutis

Opções

Verdadeiro

Falso

Métodos diferentes

O que é concept drift?

Tipo de concept drift

Interação entre concept drift e covariate shift

Como lidar com concept drift?

Adaptação em tempo real

Detecção e resolução de concept drift

Encerramento

Detecção de Covariate Shift e Concept Drift

Para garantir o sucesso de longo prazo dos modelos de machine learning, é essencial entender como monitorá-los de forma eficaz em produção. À medida que o machine learning se torna mais comum no mundo dos negócios, a ciência de dados pós-implantação surge como uma área importante. Este curso cobre todos os conceitos essenciais relacionados ao monitoramento de sistemas de machine learning em produção, para manter o valor para o negócio, reduzir o risco de falhas e aumentar a visibilidade.

<h2> Conceitos de monitoramento de machine learning</h2>
Os modelos de machine learning influenciam cada vez mais decisões no mundo real. Esses modelos precisam ser monitorados para evitar falhas e garantir que forneçam valor comercial à sua empresa. Este curso apresentará a você os conceitos fundamentais da criação de um sistema de monitoramento robusto para seus modelos em produção.
<br><br>
<h2>Descubra o fluxo de trabalho de monitoramento ideal</h2>
O curso começa com o plano de onde começar o monitoramento na produção e como estruturar os processos em torno dele. Cobriremos o fluxo de trabalho básico, mostrando a você como detectar os problemas, identificar as causas principais e resolvê-los com exemplos do mundo real.
<br><br>
<h2>Explore os desafios de monitorar modelos na produção</h2>
A implantação de um modelo em produção é apenas o início do ciclo de vida do modelo. Mesmo que tenha um bom desempenho durante o desenvolvimento, ele pode falhar devido à mudança contínua dos dados de produção. Neste curso, você explorará as dificuldades de monitorar o desempenho de um modelo, especialmente quando não há verdade fundamental.
<br><br>
<h2> Entenda em detalhes a mudança de covariável e o desvio de conceito</h2>
A última parte deste curso se concentrará em dois tipos de falha de modelo silencioso. Você entenderá detalhadamente os diferentes tipos de mudanças de covariáveis e desvios de conceito, sua influência no desempenho do modelo e como detectá-los e evitá-los.

MLOps Concepts

Supervised Learning with scikit-learn

Conheça os desafios de monitorar modelos de ML em produção e métodos para lidar com a degradação.

Conceitos de Monitoramento de Machine Learning

Entenda os desafios de monitorar modelos de ML em produção, como desvio de dados e de conceito, e métodos para evitar a degradação do modelo.

Engenheiro de machine learning

Aprendizado de máquina na produção em Python

Re-treinar o modelo é uma solução cara para lidar com concept drift em modelos grandes e com big data

Re-treinamento periódico permite manter o modelo atualizado com padrões recentes

Concept drift recorrente pode acontecer durante eventos como Black Friday ou Natal

Online Learning é sensível a dados ruidosos, o que pode levar à melhoria do modelo

Métodos baseados em erro não requerem ground truth

Detectar concept drift usando um novo modelo treinado com dados de teste e produção é uma solução barata

Detecção e resolução de concept drift

Conceitos de Monitoramento de Machine Learning

exercicio interativo prático