Explorando os resultados do grid search

Agora você vai explorar a propriedade cv_results_ do objeto GridSearchCV definido no vídeo. Trata-se de um dicionário que podemos carregar em um DataFrame do pandas e que contém muitas informações úteis sobre o grid search que acabamos de realizar.

Um lembrete sobre os diferentes tipos de colunas nessa propriedade:

colunas time_
colunas param_ (uma para cada hiperparâmetro) e a coluna params única (com todas as configurações de hiperparâmetros)
uma coluna train_score para cada dobras de CV, incluindo as colunas mean_train_score e std_train_score
uma coluna test_score para cada dobras de CV, incluindo as colunas mean_test_score e std_test_score
uma coluna rank_test_score com um número de 1 a n (número de iterações) classificando as linhas com base no seu mean_test_score

Este exercício faz parte do curso

Ajuste de Hiperparâmetros em Python

Instruções do exercício

Leia a propriedade cv_results_ do objeto GridSearchCV grid_rf_class em um DataFrame e imprima tudo para inspecionar.
Extraia e imprima a coluna única que contém um dicionário com todos os hiperparâmetros usados em cada iteração do grid search.
Extraia e imprima a linha que teve a melhor média de teste indexando pela coluna rank_test_score.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Read the cv_results property into a dataframe & print it out
cv_results_df = pd.DataFrame(grid_rf_class.____)
print(____)

# Extract and print the column with a dictionary of hyperparameters used
column = cv_results_df.loc[:, [____]]
print(____)

# Extract and print the row that had the best mean test score
best_row = cv_results_df[cv_results_df[____] == ____ ]
print(best_row)

Editar e executar o código

Este exercício faz parte do curso

Ajuste de Hiperparâmetros em Python

IntermediárioNível de habilidade

4.9+

Iniciar curso de graça

Neste capítulo introdutório, você vai aprender a diferença entre hiperparâmetros e parâmetros. Você vai praticar extrair e analisar parâmetros, além de definir valores de hiperparâmetros para vários algoritmos populares de Machine Learning. Ao longo do caminho, vai aprender dicas e boas práticas para escolher quais hiperparâmetros ajustar e quais valores definir, e vai construir curvas de aprendizagem para analisar suas escolhas de hiperparâmetros.

Exercise 1: Introdução e "Parâmetros"Exercise 2: Parâmetros em Regressão Logística Exercise 3: Extraindo um parâmetro de Regressão Logística Exercise 4: Extraindo um parâmetro de Random Forest Exercise 5: Apresentando hiperparâmetros Exercise 6: Hiperparâmetros em Random Forests Exercise 7: Explorando os hiperparâmetros de Random Forest Exercise 8: Hiperparâmetros do KNN Exercise 9: Definindo e analisando valores de hiperparâmetros Exercise 10: Automatizando a Escolha de Hiperparâmetros Exercise 11: Construindo curvas de aprendizado

Este capítulo apresenta uma metodologia popular de ajuste automático de hiperparâmetros chamada Grid Search. Você vai aprender o que é, como funciona e praticar a execução de um Grid Search usando Scikit Learn. Depois, você vai aprender a analisar a saída de um Grid Search e ganhar experiência prática fazendo isso.

Exercise 1: Apresentando a Grid Search Exercise 2: Criar funções de Grid Search Exercise 3: Sintonize vários hiperparâmetros iterativamente Exercise 4: Quantos modelos?Exercise 5: Grid Search com Scikit Learn Exercise 6: Entradas do GridSearchCV Exercise 7: GridSearchCV com Scikit Learn Exercise 8: Entendendo a saída de uma grid search Exercise 9: Usando as melhores saídas Exercise 10: Explorando os resultados do grid search

Exercício atual

Exercise 11: Analisando os melhores resultados Exercise 12: Usando os melhores resultados

Neste capítulo, você será apresentado a outra metodologia popular de ajuste automático de hiperparâmetros chamada Random Search. Você vai aprender o que é, como funciona e, principalmente, como ela difere do grid search. Vai conhecer algumas vantagens e desvantagens desse método e quando escolhê-lo em comparação ao Grid Search. Você vai praticar a execução de um Random Search com Scikit Learn, além de visualizar e interpretar a saída.

Exercise 1: Introdução ao Random Search Exercise 2: Amostre hiperparâmetros aleatoriamente Exercise 3: Busca aleatória com Random Forest Exercise 4: Visualizando um Random Search Exercise 5: Random Search no Scikit Learn Exercise 6: Entradas do RandomSearchCV Exercise 7: O objeto RandomizedSearchCV Exercise 8: RandomSearchCV no Scikit Learn Exercise 9: Comparando Grid Search e Random Search Exercise 10: Comparando Random Search e Grid Search Exercise 11: Grid e Random Search lado a lado

Neste capítulo final, você vai ter um panorama de metodologias mais avançadas de ajuste de hiperparâmetros conhecidas como “busca informada”. Isso inclui uma metodologia chamada Coarse To Fine, além de algoritmos de ajuste Bayesianos e Genéticos. Você vai aprender como a busca informada difere da busca não informada e vai adquirir habilidades práticas com cada uma das metodologias mencionadas, comparando e contrastando conforme avança.

Exercise 1: Busca informada: do grosso ao fino Exercise 2: Visualizando Coarse to Fine Exercise 3: Iterações Coarse to Fine Exercise 4: Busca informada: Estatística Bayesiana Exercise 5: Regra de Bayes em Python Exercise 6: Ajuste Bayesiano de hiperparâmetros com Hyperopt Exercise 7: Busca informada: algoritmos genéticos Exercise 8: Ajuste Genético de Hiperparâmetros com TPOT Exercise 9: Analisando a estabilidade do TPOT Exercise 10: Parabéns!