Avaliando quatro categorias

A matriz de confusão é a ferramenta mais direta para observar as quatro categorias de resultados: verdadeiros positivos (TP), falsos positivos (FP), verdadeiros negativos (TN) e falsos negativos (FN). Neste exercício, você vai usar um classificador padrão de árvore de decisão DecisionTreeClassifier() do sklearn nos dados de cliques de exemplo e calcular a divisão dos resultados nas quatro categorias.

O módulo pandas está disponível como pd no seu ambiente e o DataFrame de exemplo está carregado como df. As variáveis de entrada estão em X e o alvo está em y para uso. Além disso, DecisionTreeClassifier de sklearn.tree está disponível.

Este exercício faz parte do curso

Prevendo CTR com Machine Learning em Python

Instruções do exercício

Obtenha as partições de treino e teste para X e y.
Defina um classificador de árvore de decisão e gere as previsões y_pred ajustando o modelo.
Use a matriz de confusão para obter as contagens das categorias de cada resultado, com 1 sendo positivo (clique) e 0 sendo negativo (não clique).
Por exemplo: verdadeiros negativos seriam [0,0] e verdadeiros positivos seriam [1,1].

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Set up classifier using training data to predict test data
X_train, X_test, y_train, y_test = ____(
  X, y, test_size = .2, random_state = 0)
clf = ____
y_pred = clf.____(X_train, y_train).____(X_test) 

# Define confusion matrix and four categories
conf_matrix = ____(y_test, y_pred)
tn = conf_matrix[____][____]
fp = conf_matrix[____][____]
fn = conf_matrix[____][____]
tp = conf_matrix[____][____]

print("TN: %s, FP: %s, FN: %s, TP: %s" %(tn, fp, fn, tp))

Editar e executar o código

Este exercício faz parte do curso

Prevendo CTR com Machine Learning em Python

IntermediárioNível de habilidade

5.0+

Iniciar curso de graça

Provavelmente você chegou até aqui porque clicou em um link. Neste capítulo, você vai entender por que as taxas de cliques (CTR) são essenciais para a publicidade direcionada, como fazer manipulações básicas de DataFrame, e como usar modelos de Machine Learning para prever CTR.

Exercise 1: Introdução às taxas de cliques (CTR)Exercise 2: Primeiros passos Exercise 3: Exploração de features Exercise 4: Primeira avaliação dos dados Exercise 5: Visão geral dos modelos de Machine Learning Exercise 6: Regressão logística para câncer de mama Exercise 7: Regressão logística para imagens Exercise 8: Um segundo modelo simples Exercise 9: Previsão de CTR usando árvores de decisão Exercise 10: Implementação do modelo Exercise 11: Seu primeiro modelo de CTR Exercise 12: Além da acurácia

Este capítulo apresenta as bases da análise exploratória de dados (EDA). Com dados de exemplo, você vai usar a biblioteca pandas para examinar colunas e tipos de dados, explorar dados ausentes e aplicar hashing para fazer engenharia de features em variáveis categóricas. Tudo isso é importante ao explorar features para previsões de CTR mais precisas.

Exercise 1: Análise exploratória de dados Exercise 2: Um primeiro olhar Exercise 3: Verificando valores ausentes Exercise 4: Distribuições por CTR Exercise 5: Engenharia de atributos Exercise 6: Analisando colunas de datetime Exercise 7: Convertendo variáveis categóricas Exercise 8: Criando novas features Exercise 9: Padronizando recursos Exercise 10: Normalização logarítmica Exercise 11: Entendendo a padronização Exercise 12: Padronização (standard scaling)

Hora de ir mais fundo. Veja como usar medidas de desempenho do modelo, incluindo precisão e recall, para responder a perguntas do mundo real, como avaliar o ROI do gasto com anúncios. Você também vai aprender formas de melhorar essas métricas de avaliação, como métodos de ensemble e ajuste de hiperparâmetros.

Exercise 1: Aplicações da avaliação de métricas Exercise 2: Quatro categorias de resultados Exercise 3: Avaliando quatro categorias

Exercício atual

Exercise 4: ROI em gastos com anúncios Exercise 5: Avaliação de modelos Exercise 6: Precisão e revocação Exercise 7: Baseline Exercise 8: Comparação de classificadores Exercise 9: Ajustando modelos Exercise 10: Regularização Exercise 11: Validação cruzada Exercise 12: Seleção de modelo Exercise 13: Ensembles e ajuste de hiperparâmetros Exercise 14: Entendendo o ajuste de hiperparâmetros Exercise 15: Random forests Exercise 16: Busca em grade

Os lucros podem ser fortemente impactados pelo CTR da sua campanha. Neste capítulo, você vai aprender como deep learning pode ajudar a reduzir esse risco. O foco será em perceptron multicamadas (MLP) e redes neurais, e em como esses modelos capturam relações complexas entre variáveis para prever o CTR com mais precisão. Por fim, você vai explorar como aplicar noções básicas de ajuste de hiperparâmetros e regularização em modelos de classificação.

Exercise 1: Introdução ao deep learning Exercise 2: Entendendo MLPs Exercise 3: Modelo inicial Exercise 4: MLPs para CTR Exercise 5: Ajuste de hiperparâmetros em deep learning Exercise 6: Ajuste de hiperparâmetros em MLPs Exercise 7: Variando hiperparâmetros Exercise 8: Busca em grade para MLP Exercise 9: Avaliação do modelo Exercise 10: Pontuação F-beta Exercise 11: Baixa precisão e AUC alta Exercise 12: Precisão, ROI e AUC Exercise 13: Revisão e comparação de modelos Exercise 14: Aquecimento: comparação de modelos Exercise 15: Avaliando precisão e ROI Exercise 16: Pontuação total Exercise 17: Vídeo de encerramento