Estudo de caso de monitoramento de modelo

Neste exercício final, você verá um cenário complexo que envolve vários aspectos abordados nesta seção sobre Monitoramento de Modelos. Sua tarefa é analisar a situação, identificar as etapas corretas a seguir e organizá-las na ordem adequada para demonstrar seu entendimento dos conceitos apresentados.

Leia o cenário e ordene as etapas a seguir na sequência correta. Este exercício foi pensado para testar sua capacidade de analisar uma situação real complexa e aplicar o conhecimento adquirido ao longo do capítulo.

Cenário: você atua como engenheiro(a) de Machine Learning em uma health tech. Seu time implantou recentemente um modelo de classificação binária, como prova de conceito, para prever doença cardíaca no ambiente de produção, servindo o modelo para usuários finais. Após algumas semanas, você percebe inconsistências nas previsões e o desempenho do sistema parece ter piorado; alguns usuários também relataram resultados imprecisos para dados recentes. Pediram que você monitore o modelo e garanta que ele continue fornecendo recomendações precisas e relevantes.