Extrair modelos do h2o e avaliar o desempenho

Neste exercício final, você vai extrair o melhor modelo do leaderboard do AutoML. A biblioteca h2o e os dados test já foram carregados e o código a seguir foi executado:

automl_model <- h2o.automl(x = x, 
                           y = y,
                           training_frame = seeds_data_hf,
                           nfolds = 3,
                           max_runtime_secs = 60,
                           sort_metric = "mean_per_class_error",
                           seed = 42)

Este exercicio faz parte do curso

Ajuste de hiperparâmetros em R

exercicio interativo prático

Tente este exercicio completando este código de exemplo.

# Extract the leaderboard
lb <- ___@___
head(lb)

Editar e Executar Código

Este exercicio faz parte do curso

Ajuste de hiperparâmetros em R

AvançadoNível de habilidade

4.8+

Comece o curso gratuitamente

Por que usamos a palavra estranha "hiperparâmetro"? O que a torna “hiper”? Aqui, você vai entender o que são parâmetros de modelo e por que eles são diferentes de hiperparâmetros em Machine Learning. Em seguida, verá por que queremos ajustá-los e como a configuração padrão do caret já inclui ajuste de hiperparâmetros automaticamente.

Exercise 1: Parâmetros vs. hiperparâmetros Exercise 2: Parâmetros do modelo vs. hiperparâmetros Exercise 3: Hiperparâmetros em modelos lineares Exercise 4: Quais são os coeficientes?Exercise 5: Revisão dos fundamentos de Machine Learning Exercise 6: Machine learning com caret Exercise 7: Esquemas de reamostragem Exercise 8: Ajuste de hiperparâmetros no caret Exercise 9: Hiperparâmetros em Stochastic Gradient Boosting Exercise 10: Alterando o número de hiperparâmetros a ajustar Exercise 11: Ajuste hiperparâmetros manualmente

Neste capítulo, você vai aprender a ajustar hiperparâmetros com um grid cartesiano. Depois, vai implementar abordagens mais rápidas e eficientes. Você usará Random Search e reamostragem adaptativa para ajustar o grid de parâmetros, concentrando-se em valores na vizinhança das configurações ótimas.

Exercise 1: Ajuste de hiperparâmetros no caret Exercise 2: Encontrando hiperparâmetros Exercise 3: Busca em grade cartesiana no caret Exercise 4: Plotar a saída do modelo de hiperparâmetros Exercise 5: Grid Search vs. Random Search Exercise 6: Busca em grade com intervalo de hiperparâmetros Exercise 7: Encontre a opção de train() para busca aleatória Exercise 8: Busca aleatória com caret Exercise 9: Reamostragem adaptativa Exercise 10: Vantagens do Adaptive Resampling Exercise 11: Reamostragem Adaptativa com caret

Aqui, você vai usar outro pacote de Machine Learning que tem funções muito práticas para ajuste de hiperparâmetros. Você vai definir um grid cartesiano ou realizar Random Search, além de técnicas avançadas. Também vai aprender diferentes maneiras de visualizar e avaliar modelos com hiperparâmetros distintos.

Exercise 1: Machine Learning com mlr Exercise 2: Machine Learning com mlr Exercise 3: Modelagem com mlr Exercise 4: Grid e random search com mlr Exercise 5: Busca aleatória com mlr Exercise 6: Realize ajuste de hiperparâmetros com mlr Exercise 7: Avaliando hiperparâmetros com mlr Exercise 8: Por que avaliar a otimização?Exercise 9: Avaliando resultados de ajuste de hiperparâmetros Exercise 10: Ajuste avançado com mlr Exercise 11: Definir controles avançados de tuning Exercise 12: Definir medidas agregadas Exercise 13: Definindo hiperparâmetros

Neste capítulo final, você vai usar o h2o, outro pacote de Machine Learning com funções muito práticas para ajuste de hiperparâmetros. Você vai usá-lo para treinar diferentes modelos e definir um grid cartesiano. Depois, vai implementar um Random Search usando critérios de parada. Por fim, você vai aprender AutoML, uma interface do h2o que permite um ajuste muito rápido e prático de modelos e hiperparâmetros com apenas uma função.

Exercise 1: Machine Learning com h2o Exercise 2: Preparar dados para modelagem com h2o Exercise 3: Modelando com h2o Exercise 4: Grid e random search com h2o Exercise 5: Busca em grade com h2o Exercise 6: Busca aleatória com h2o Exercise 7: Critérios de parada Exercise 8: Machine Learning automático com H2O Exercise 9: AutoML no h2o Exercise 10: Pontuando o leaderboard Exercise 11: Extrair modelos do h2o e avaliar o desempenho

Exercicio Atual

Exercise 12: Encerramento