Testando seu modelo de machine learning

Ao longo do desenvolvimento do app de ML e do modelo, você vai criar uma coleção de testes de unidade, integração, carga, estresse e implantação.

Não se preocupe se você ainda não conhece todos esses tipos de teste; há excelentes recursos para aprender.

Mas, no mínimo, você deve lembrar o principal motivo para escrevê-los, que é:

Este exercício faz parte do curso

Implantação e ciclo de vida em MLOps

Exercício interativo prático

Transforme a teoria em ação com um de nossos exercícios interativos

Começar o exercício

Este exercício faz parte do curso

Implantação e ciclo de vida em MLOps

AvançadoNível de habilidade

4.8+

Iniciar curso de graça

Este capítulo oferece uma visão geral dos princípios de MLOps e dos componentes do framework importantes para implantação e ciclo de vida.

Exercise 1: O framework moderno de MLOps Exercise 2: Fluxos de trabalho de ML Exercise 3: Benefícios do MLOps Exercise 4: Etapas do ciclo de vida Exercise 5: Aplicativo vs. modelo Exercise 6: Descomissionamento Exercise 7: O ciclo de vida do modelo: revisão Exercise 8: Componentes de MLOps Exercise 9: Sequência automatizada Exercise 10: Stores e registries Exercise 11: DevOps ou MLOps?

Este capítulo é dedicado a todas as considerações que precisamos fazer já na fase de desenvolvimento para garantir uma transição tranquila quando chegarmos às operações. Nosso objetivo é explicar como treinar o modelo seguindo as melhores práticas de MLOps e construir um pacote de modelo que permita implantação fluida, reprodutibilidade e monitoramento pós-implantação.

Exercise 1: Desenvolvimento orientado ao deployment Exercise 2: Testando seu modelo de machine learning

Exercício atual

Exercise 3: Melhor momento para começar a implantar Exercise 4: Profiling, versionamento e feature stores Exercise 5: Propriedades de feature stores Exercise 6: Benefícios de profiling e feature store Exercise 7: Garantindo reprodutibilidade Exercise 8: Pipelines de construção de modelos em CI/CD Exercise 9: Pipelines diferentes Exercise 10: Propriedades da pipeline de build do modelo Exercise 11: Integração com CI/CD Exercise 12: Empacotamento de modelo Exercise 13: Formatos de modelo Exercise 14: Pacote completo

Este capítulo trata de questões críticas de operações de modelos, como: - Quais são as diferentes formas de servir nossos modelos? - O que é uma API e quais são suas funcionalidades essenciais? - Como testamos nosso serviço a fundo antes de disponibilizá-lo aos usuários finais? - Como atualizamos modelos em produção sem interromper o serviço? Você vai aprender sobre predição em lote, predição em tempo real, validação de dados de entrada e saída, testes de unidade, testes de integração, implantação canário e muito mais.

Exercise 1: Modos de serviço Exercise 2: Offline ou online?Exercise 3: Quando o tempo importa — um pouco Exercise 4: Construindo a API Exercise 5: Cliente-servidor Exercise 6: Funcionalidades da API Exercise 7: Progressão de implantação e testes Exercise 8: Que teste é esse?Exercise 9: Progressão entre ambientes Exercise 10: Testes por ambiente Exercise 11: Estratégias de implantação de modelos Exercise 12: Uma estratégia de deploy adequada Exercise 13: Ordem de risco Exercise 14: Sombra da sombra

Este capítulo final é dedicado ao monitoramento e à manutenção de serviços de ML após a implantação, além da governança de modelos. Você vai abordar conceitos cruciais, como latência de verificação, covariate shift, concept drift, sistemas com humano no ciclo e mais.

Exercise 1: Monitorando serviços de ML Exercise 2: Shift vs drift Exercise 3: Latência Exercise 4: Já?Exercise 5: Monitoramento e alertas Exercise 6: O sistema de monitoramento Exercise 7: Alertas Exercise 8: Manutenção de modelos Exercise 9: Centrado em dados vs. centrado no modelo Exercise 10: Humano no Loop Exercise 11: Governança de modelos Exercise 12: Elementos de governança Exercise 13: Estágios de governança Exercise 14: Classificação de risco Exercise 15: Encerramento