Relembrando as métricas de desempenho

Lembra do conjunto de dados de crédito? Com todo o conhecimento extra que você tem agora sobre métricas, vamos dar outra olhada em quão bom um random forest é nesse conjunto. Você já treinou seu classificador e obteve a matriz de confusão nos dados de teste. Os dados de teste e os resultados estão disponíveis como tp, fp, fn e tn, para verdadeiros positivos, falsos positivos, falsos negativos e verdadeiros negativos, respectivamente. Você também tem os rótulos verdadeiros dos dados de teste, y_test, e os rótulos previstos, preds. As funções f1_score() e precision_score() também foram importadas.

Este exercício faz parte do curso

Projetando Workflows de Machine Learning em Python

Ver curso

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

print(____(____, preds))

Editar e executar o código

Este exercício faz parte do curso

Projetando Workflows de Machine Learning em Python

AvançadoNível de habilidade

4.8+

74 reviews

Iniciar curso de graça

Neste capítulo, você vai relembrar o básico de um workflow de aprendizado supervisionado, com ajuste, seleção e treinamento de modelos, engenharia e seleção de features, e técnicas de divisão de dados. Você vai entender como essas etapas do workflow dependem umas das outras e reconhecer como todas elas podem contribuir para — ou combater — o overfitting: o pior inimigo de quem trabalha com dados. Ao final do capítulo, você já estará fluente em aprendizado supervisionado e pronto para mergulhar em conteúdos mais avançados nos próximos capítulos.

Exercise 1: Pipelines de aprendizagem supervisionada Exercise 2: Engenharia de atributos Exercise 3: Seu primeiro pipeline Exercise 4: Complexidade do modelo e overfitting Exercise 5: Grid search CV para complexidade do modelo Exercise 6: Número de árvores e estimadores Exercise 7: Engenharia de atributos e overfitting Exercise 8: Codificações categóricas Exercise 9: Transformações de atributos Exercise 10: Juntando tudo

No capítulo anterior, você aprimorou seu conhecimento sobre workflows padrão de aprendizado supervisionado. Neste capítulo, você vai analisar criticamente as formas como o conhecimento de especialistas é incorporado no aprendizado supervisionado. Isso é feito pela identificação da unidade de análise apropriada — o que pode exigir engenharia de features a partir de múltiplas fontes de dados —, pelo processo às vezes imperfeito de rotular exemplos e pela especificação de uma função de perda que capture o verdadeiro valor de negócio dos erros cometidos pelo seu modelo de machine learning.

Exercise 1: Fusão de dados Exercise 2: A origem ou o destino é que está comprometido?Exercise 3: Engenharia de atributos em dados agrupados Exercise 4: Rótulos imperfeitos Exercise 5: Transformando uma heurística em um classificador Exercise 6: Combinando heurísticas Exercise 7: Lidando com ruído nos rótulos Exercise 8: Funções de perda Parte I Exercise 9: Relembrando as métricas de desempenho

Exercício atual

Exercise 10: Análise de custos no mundo real Exercise 11: Cálculos com matriz de confusão Exercise 12: Funções de perda - Parte II Exercise 13: Limite padrão (threshold)Exercise 14: Otimização do limiar Exercise 15: Juntando tudo

No capítulo anterior, você incorporou diferentes formas de feedback de especialistas no seu workflow e o avaliou de maneiras alinhadas ao valor de negócio. Agora é hora de praticar as habilidades necessárias para colocar seu modelo em produção e garantir que ele continue com bom desempenho, melhorando-o iterativamente. Você também vai aprender a diagnosticar dataset shift e mitigar o efeito que um ambiente em mudança pode ter na acurácia do seu modelo.

Exercise 1: De workflows a pipelines Exercise 2: Seu primeiro pipeline - de novo!Exercise 3: Scorers personalizados em pipelines Exercise 4: Implantação de modelos Exercise 5: Pickles Exercise 6: Transformers com funções personalizadas em pipelines Exercise 7: Iterando sem overfitting Exercise 8: Desafie o campeão Exercise 9: Estatísticas de validação cruzada Exercise 10: Mudança de conjunto de dados Exercise 11: Ajustando o tamanho da janela Exercise 12: Juntando tudo

Nos capítulos anteriores, você estabeleceu uma base sólida em aprendizado supervisionado, incluindo o conhecimento de como colocar modelos em produção, mas sempre assumindo que haveria um conjunto de dados rotulado disponível para sua análise. Neste capítulo, você encara o desafio de modelar dados sem rótulos — ou com pouquíssimos rótulos. Isso te leva a uma jornada por detecção de anomalias, um tipo de modelagem não supervisionada, e por aprendizado baseado em distância, onde crenças sobre o que constitui similaridade entre dois exemplos podem substituir rótulos e ajudar você a alcançar níveis de acurácia comparáveis a um workflow supervisionado. Ao concluir este capítulo, você vai se destacar por saber, com segurança, quais ferramentas usar para adaptar seu workflow e superar desafios comuns do mundo real.

Exercise 1: Detecção de anomalias Exercise 2: Um outlier simples Exercise 3: Contaminação no LoF Exercise 4: Detecção de novidades Exercise 5: Uma novidade simples Exercise 6: Três detectores de novidade Exercise 7: Contaminação revisitada Exercise 8: Aprendizado baseado em distância Exercise 9: Encontre o vizinho Exercise 10: Nem todas as métricas concordam Exercise 11: Dados não estruturados Exercise 12: Levenshtein restrito Exercise 13: Juntando tudo Exercise 14: Considerações finais