Interpretando resultados

Neste cenário, você implementou com sucesso seu algoritmo de estimativa de performance em um ambiente de produção. Como resultado, você tem um gráfico para a métrica ROC AUC estimada.

Sua tarefa agora é selecionar as informações corretas com base no gráfico sobre o seguinte:

período do chunk - um único ponto de dados nos resultados de monitoramento
limite superior
limite inferior
o nome do mês em que um alerta de performance é acionado

Este exercício faz parte do curso

Monitoramento de Machine Learning em Python

Exercício interativo prático

Transforme a teoria em ação com um de nossos exercícios interativos

Começar o exercício

Este exercício faz parte do curso

Monitoramento de Machine Learning em Python

AvançadoNível de habilidade

4.8+

Iniciar curso de graça

Neste capítulo, você vai conhecer a biblioteca NannyML e suas funções fundamentais. Primeiro, você vai aprender o processo de preparar dados brutos para criar conjuntos de referência e de análise prontos para o monitoramento em produção. Como exemplo prático, você vai investigar a previsão do valor da gorjeta em corridas de táxi em Nova York. No fim do capítulo, você também vai descobrir como estimar o desempenho do modelo de previsão de gorjetas usando o NannyML.

Exercise 1: O que é o NannyML?Exercise 2: Principais recursos do NannyML Exercise 3: Carregar o conjunto de dados Exercise 4: Preparação de dados para o NannyML Exercise 5: Período de referência ou de análise?Exercise 6: Carregando e dividindo os dados Exercise 7: Criando conjuntos de referência e de análise Exercise 8: Estimativa de desempenho Exercise 9: Especifique o algoritmo e o tipo de problema Exercise 10: Interpretando resultados

Exercício atual

Exercise 11: Fluxo de trabalho CBPE e DLE Exercise 12: Estimativa de performance para a previsão de gorjetas

Neste capítulo, você será apresentado aos calculadores de desempenho realizado usados quando a verdade de terreno fica disponível. Você vai aprender métodos mais avançados para trabalhar com resultados, incluindo filtrar, plotar, converter para data frames, fazer chunking e definir limites personalizados. Por fim, você vai aplicar esse conhecimento para calcular o valor de negócio de um modelo treinado no conjunto de dados de reservas de hotel.

Exercise 1: Quando as labels estão disponíveis Exercise 2: Quando a estimativa de desempenho sai do esperado Exercise 3: Comparando a performance estimada e a realizada Exercise 4: Trabalhando com resultados calculados e estimados Exercise 5: Diferentes métodos de divisão em chunks Exercise 6: Modificando os limites (thresholds)Exercise 7: Interagindo com os resultados Exercise 8: Cálculo e estimativa de valor de negócio Exercise 9: Cálculo do valor de negócio Exercise 10: Queda no valor monetário Exercise 11: Cálculo de negócio para o conjunto de dados de reservas de hotel

Após detectar a degradação de desempenho no modelo de reservas de hotel, você vai aprender a identificar o problema subjacente que a causa. Neste capítulo, você conhecerá métodos de detecção de drift multivariado e univariado. Você também vai aprender a identificar problemas de qualidade dos dados e como tratar as causas que forem detectadas.

Exercise 1: Detecção de drift multivariado Exercise 2: Identificando deriva(s) relevante(s)Exercise 3: Drift no conjunto de dados de reservas de hotel Exercise 4: Detecção de drift univariado Exercise 5: Detecção de drift univariado no conjunto de dados de reservas de hotel Exercise 6: Classificando os resultados univariados Exercise 7: Visualizando variáveis com deriva Exercise 8: Verificações de qualidade de dados e estatísticas Exercise 9: Verificações de qualidade dos dados Exercise 10: Estatísticas resumidas Exercise 11: Resolução de problemas Exercise 12: Qual é a resolução?Exercise 13: Você deve não fazer nada ou fazer algo?Exercise 14: Implementando um fluxo de monitoramento Exercise 15: Parabéns