Crie dois conjuntos de holdout
Recentemente, você criou um modelo simples de random forest para prever vitórias no jogo da velha (Tic-Tac-Toe) para sua chefe e, a pedido dela, você não fez ajuste de parâmetros. Infelizmente, a acurácia geral do modelo ficou abaixo do esperado por ela. Desta vez, ela pediu para você focar no desempenho do modelo.
Antes de começar a testar diferentes modelos e conjuntos de parâmetros, você precisará dividir os dados em conjuntos de treinamento, validação e teste. Lembre-se de que, depois de dividir os dados em treinamento e teste, o conjunto de validação é criado a partir de uma divisão do conjunto de treinamento.
Os conjuntos X e y já foram carregados para você usar.
Este exercício faz parte do curso
Validação de Modelos em Python
Instruções do exercício
- Crie conjuntos temporários e de teste (
X_test,y_test). Use 20% do total de dados para os conjuntos de teste. - Usando os conjuntos temporários (
X_temp,y_temp), crie os conjuntos de treinamento (X_train,y_train) e validação (X_val,y_val). - Use 25% dos dados temporários para os conjuntos de validação.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Create temporary training and final testing datasets
X_temp, ____, y_temp, ____ =\
train_test_split(X, y, ____=____, random_state=1111)
# Create the final training and validation datasets
____, ____, ____, ____ =\
train_test_split(X_temp, y_temp, ____=____, random_state=1111)