Implementação da pesquisa aleatória

A pesquisa de hiperparâmetros é uma abordagem que exige muitos recursos computacionais para fazer testes com diferentes valores de hiperparâmetros. No entanto, ela pode levar a melhorias de desempenho. Neste exercício, você deve implementar um algoritmo de pesquisa aleatória.

Você deve fazer uma amostragem aleatória de 10 valores de taxa de aprendizado e de momentum a partir da distribuição uniforme. Para isso, vai utilizar a função np.random.uniform().

numpy já foi importado como np, e uma função chamada plot_hyperparameter_search() foi criada para visualizar os resultados.

Este exercício faz parte do curso

Introdução ao Aprendizado Profundo com o PyTorch

Instruções do exercício

Faça uma amostragem aleatória de um fator de taxa de aprendizado entre 2 e 4 para que a taxa de aprendizado (lr, learning rate) seja limitada entre \(10^{-2}\) e \(10^{-4}\).
Faça uma amostragem aleatória de um momentum entre 0,85 e 0,99.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

values = []
for idx in range(10):
    # Randomly sample a learning rate factor between 2 and 4
    factor = ____
    lr = 10 ** -factor
    
    # Randomly select a momentum between 0.85 and 0.99
    momentum = ____
    
    values.append((lr, momentum))
       
plot_hyperparameter_search(values)

Editar e executar o código

Este exercício faz parte do curso

Introdução ao Aprendizado Profundo com o PyTorch

IntermediárioNível de habilidade

4.8+

Iniciar curso de graça

Carros autônomos, smartphones, mecanismos de pesquisa... O aprendizado profundo agora está em toda parte. Antes de começar a criar modelos complexos, você vai conhecer melhor o PyTorch, uma estrutura de aprendizado profundo. Você aprenderá a manipular tensores, criar estruturas de dados do PyTorch e criar sua primeira rede neural no PyTorch com camadas lineares.

Exercise 1: Introdução ao Aprendizado Profundo com o PyTorch Exercise 2: Introdução aos tensores do PyTorch Exercise 3: Verificação e adição de tensores Exercise 4: Redes neurais e camadas Exercise 5: Rede de camadas lineares Exercise 6: Como funcionam os pesos Exercise 7: Camadas ocultas e parâmetros Exercise 8: Sua primeira rede neural Exercise 9: Empilhamento de camadas lineares Exercise 10: Contagem do número de parâmetros

Para treinar uma rede neural no PyTorch, primeiro você precisa entender outros componentes, como as funções de ativação e perda. Você vai perceber que o treinamento de uma rede requer a minimização dessa função de perda, o que é feito por meio do cálculo de gradientes. Você vai aprender a usar esses gradientes para atualizar os parâmetros do modelo.

Exercise 1: Descoberta de funções de ativação Exercise 2: Estimule sua compreensão!Exercise 3: As funções sigmoide e softmax Exercise 4: Como executar uma passagem direta Exercise 5: Como criar um classificador binário no PyTorch Exercise 6: Da regressão à classificação multiclasse Exercise 7: Uso de funções de perda para avaliar previsões do modelo Exercise 8: Criação de rótulos com one-hot encoding Exercise 9: Cálculo da perda de entropia cruzada Exercise 10: Uso de derivadas para atualizar os parâmetros do modelo Exercise 11: Acesso aos parâmetros do modelo Exercise 12: Atualização manual dos pesos Exercise 13: Como usar o otimizador do PyTorch

Agora que você aprendeu os principais componentes de uma rede neural, você vai treinar uma usando um loop de treinamento. Você vai analisar problemas em potencial, como gradientes que desaparecem, e aprender estratégias para resolvê-los, como funções de ativação alternativas e ajuste da taxa de aprendizado e do momentum.

Exercise 1: Análise detalhada do carregamento de dados Exercise 2: Como usar o TensorDataset Exercise 3: Como usar o DataLoader Exercise 4: Como escrever o primeiro loop de treinamento Exercise 5: Como usar o MSELoss Exercise 6: Como escrever um loop de treinamento Exercise 7: Funções de ativação ReLU Exercise 8: Implementação da ReLU Exercise 9: Implementação da Leaky ReLU Exercise 10: Introdução a funções de ativação Exercise 11: Taxa de aprendizado e momentum Exercise 12: Ajuste da taxa de aprendizado Exercise 13: Ajuste do momentum

Treinar um modelo de aprendizado profundo é uma arte e, para garantir que o modelo seja treinado corretamente, precisamos acompanhar determinadas métricas durante o treinamento, como a perda ou a precisão. Vamos aprender a calcular essas métricas e a reduzir o sobreajuste.

Exercise 1: Inicialização de camadas e aprendizado por transferência Exercise 2: Processo de ajuste fino Exercise 3: Congelamento de camadas de um modelo Exercise 4: Inicialização de camadas Exercise 5: Avaliação do desempenho do modelo Exercise 6: Como escrever o loop de avaliação Exercise 7: Cálculo da precisão usando torchmetrics Exercise 8: Como evitar o sobreajuste Exercise 9: Ajuste do dropout Exercise 10: O que significa sobreajuste Exercise 11: Como aprimorar o desempenho do modelo Exercise 12: Implementação da pesquisa aleatória

Exercício atual

Exercise 13: Vídeo de encerramento