Limites dos testes de validação cruzada
Você pode especificar números muito grandes para nfold e num_boost_round se quiser realizar uma quantidade extrema de validação cruzada. O quadro de dados cv_results_big já foi carregado no espaço de trabalho e foi criado com o seguinte código:
cv = xgb.cv(params, DTrain, num_boost_round = 600, nfold=10,
shuffle = True)
Aqui, o site cv() realizou 600 iterações de validação cruzada! O parâmetro shuffle informa à função para embaralhar os registros a cada vez.
Dê uma olhada nesses dados para ver quais são os AUC e verifique se eles chegam a 1.0 usando validação cruzada. Você também deve traçar a pontuação do teste AUC para ver a progressão.
O quadro de dados cv_results_big foi carregado no espaço de trabalho.
Este exercício faz parte do curso
Modelagem de risco de crédito em Python
Instruções do exercício
- Imprima as primeiras cinco linhas do quadro de dados de resultados do CV.
- Imprima a média do conjunto de teste AUC do quadro de dados de resultados CV arredondado para duas casas.
- Trace um gráfico de linhas do conjunto de teste AUC no decorrer de cada iteração.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Print the first five rows of the CV results data frame
print(____.____())
# Calculate the mean of the test AUC scores
print(np.____(____[____]).round(2))
# Plot the test AUC scores for each iteration
plt.____(____[____])
plt.title('Test AUC Score Over 600 Iterations')
plt.xlabel('Iteration Number')
plt.ylabel('Test AUC Score')
plt.____()