Antes de validar modelos, precisamos entender como criá-los e trabalhar com eles. Este capítulo apresenta a execução de modelos de regressão e classificação no scikit-learn. Vamos usar essa base de construção de modelos ao longo dos capítulos restantes.

Introdução à validação de modelos

Etapas de modelagem

Dados vistos vs. não vistos

Modelos de regressão

Definir parâmetros e ajustar um modelo

Importância das variáveis

Modelos de classificação

Predições de classificação

Reutilizando parâmetros do modelo

Classificador random forest

Modelagem básica no scikit-learn

Este capítulo foca nos fundamentos da validação de modelos. Desde dividir os dados em conjuntos de treinamento, validação e teste até construir o entendimento do trade-off viés-variância, vamos criar a base para as técnicas de validação K-Fold e Leave-One-Out praticadas no capítulo três.

Criando conjuntos de dados de treino, teste e validação

Crie um conjunto de validação (holdout)

Crie dois conjuntos de holdout

Por que usar conjuntos de holdout

Métricas de acurácia: modelos de regressão

Erro absoluto médio

Erro quadrático médio

Desempenho em subconjuntos de dados

Métricas de classificação

Matrizes de confusão

Matrizes de confusão, novamente

Precisão vs. recall

O trade-off entre viés e variância

Erro por under/overfitting

Estou com underfitting?

Noções básicas de validação

Conjuntos de holdout são um ótimo começo para validar modelos. Porém, usar um único conjunto de treino e teste muitas vezes não é suficiente. A validação cruzada é considerada o padrão-ouro para validar o desempenho do modelo e é quase sempre usada ao ajustar hiperparâmetros. Este capítulo foca em realizar validação cruzada para validar o desempenho do modelo.

Os problemas dos conjuntos de holdout

Duas amostras

Problemas potenciais

Validação cruzada

KFold() do scikit-learn

Usando índices do KFold

cross_val_score() do sklearn

Métodos do scikit-learn

Implementar cross_val_score()

Leave-one-out cross-validation (LOOCV)

Quando usar LOOCV

Leave-one-out cross-validation

Os três primeiros capítulos focaram em técnicas de validação de modelos. No capítulo 4, aplicamos essas técnicas — em especial a validação cruzada — enquanto aprendemos sobre ajuste de hiperparâmetros. Afinal, a validação de modelos torna o ajuste possível e nos ajuda a selecionar o melhor modelo no geral.

Introdução ao ajuste de hiperparâmetros

Criando hiperparâmetros

Executando um modelo usando intervalos

RandomizedSearchCV

Preparando para o RandomizedSearch

Implementando RandomizedSearchCV

Selecionando seu modelo final

Melhor acurácia de classificação

Selecionando o melhor modelo em precisão

Curso concluído!

Selecionando o melhor modelo com ajuste de hiperparâmetros.

Candy dataset

Tic-Tac-Toe dataset

Modelos de Machine Learning estão mais fáceis de implementar do que nunca. Sem a validação adequada, os resultados ao passar novos dados por um modelo podem não ser tão precisos quanto o esperado. A validação de modelos permite que analistas respondam com confiança à pergunta: quão bom é o seu modelo? Vamos responder a essa pergunta para modelos de classificação usando o conjunto completo de cenários de fim de jogo do tic-tac-toe e, para modelos de regressão, usando o conjunto de dados do ranking definitivo de doces de Halloween do fivethirtyeight. Neste curso, vamos abordar o básico de validação de modelos, discutir várias técnicas de validação e começar a desenvolver ferramentas para criar modelos validados e de alto desempenho.

Supervised Learning with scikit-learn

Aprenda o básico da validação de modelos e técnicas para criar modelos validados e eficazes.

Validação de Modelos em Python

Aprenda o básico sobre validação de modelos, técnicas de validação e comece a criar modelos validados e de alto desempenho.

cross_val_score() do sklearn

Create Your Free Account