Implementação da pesquisa aleatória

A pesquisa de hiperparâmetros é uma abordagem computacionalmente dispendiosa para fazer experiências com diferentes valores de hiperparâmetros. No entanto, isso pode levar a melhorias no desempenho. Neste exercício, você implementará um algoritmo de pesquisa aleatória.

Você fará uma amostragem aleatória de 10 valores da taxa de aprendizagem e do momento a partir da distribuição uniforme. Para fazer isso, você usará a função np.random.uniform().

numpy já foi importado como np, e uma função plot_hyperparameter_search() foi criada para que você visualize os resultados.

Este exercício faz parte do curso

Introdução à aprendizagem profunda com PyTorch

Instruções de exercício

Faça uma amostragem aleatória de um fator de taxa de aprendizado entre 2 e 4 para que a taxa de aprendizado (lr) seja limitada entre \(10^{-2}\) e \(10^{-4}\).
Faça uma amostragem aleatória de um momento entre 0,85 e 0,99.

Exercício interativo prático

Experimente este exercício preenchendo este código de exemplo.

values = []
for idx in range(10):
    # Randomly sample a learning rate factor between 2 and 4
    factor = ____
    lr = 10 ** -factor
    
    # Randomly select a momentum between 0.85 and 0.99
    momentum = ____
    
    values.append((lr, momentum))
       
plot_hyperparameter_search(values)

Editar e executar código

Este exercício faz parte do curso

Introdução à aprendizagem profunda com PyTorch

IntermediárioNível de habilidade

4.8+

Iniciar curso gratuitamente

Carros autônomos, smartphones, mecanismos de busca... A aprendizagem profunda está agora em toda parte. Antes de começar a criar modelos complexos, você se familiarizará com o PyTorch, uma estrutura de aprendizagem profunda. Você aprenderá a manipular tensores, criar estruturas de dados do PyTorch e criar sua primeira rede neural no PyTorch com camadas lineares.

Exercise 1: Introdução à aprendizagem profunda com o PyTorch Exercise 2: Introdução aos tensores do PyTorch Exercise 3: Verificação e adição de tensores Exercise 4: Redes neurais e camadas Exercise 5: Rede de camadas lineares Exercise 6: Entendendo os pesos Exercise 7: Camadas ocultas e parâmetros Exercise 8: Sua primeira rede neural Exercise 9: Empilhamento de camadas lineares Exercise 10: Contagem do número de parâmetros

Para treinar uma rede neural no PyTorch, você precisará primeiro entender os componentes adicionais, como as funções de ativação e perda. Você perceberá que o treinamento de uma rede requer a minimização dessa função de perda, o que é feito por meio do cálculo de gradientes. Você aprenderá a usar esses gradientes para atualizar os parâmetros do seu modelo.

Exercise 1: Descoberta de funções de ativação Exercise 2: Ative sua compreensão!Exercise 3: As funções sigmoide e softmax Exercise 4: Executar um passe para frente Exercise 5: Criando um classificador binário no PyTorch Exercise 6: Da regressão à classificação multiclasse Exercise 7: Uso de funções de perda para avaliar as previsões do modelo Exercise 8: Criação de etiquetas codificadas com um único ponto Exercise 9: Cálculo da perda de entropia cruzada Exercise 10: Uso de derivadas para atualizar os parâmetros do modelo Exercise 11: Acesso aos parâmetros do modelo Exercise 12: Atualizando os pesos manualmente Exercise 13: Usando o otimizador PyTorch

Agora que você aprendeu os principais componentes de uma rede neural, você treinará uma usando um loop de treinamento. Você explorará problemas em potencial, como gradientes que desaparecem, e aprenderá estratégias para resolvê-los, como funções de ativação alternativas e ajuste da taxa de aprendizado e do momentum.

Exercise 1: Um mergulho mais profundo no carregamento de dados Exercise 2: Usando TensorDataset Exercise 3: Usando o DataLoader Exercise 4: Escrevendo nosso primeiro loop de treinamento Exercise 5: Usando o MSELoss Exercise 6: Escrever um loop de treinamento Exercise 7: Funções de ativação ReLU Exercise 8: Implementação do ReLU Exercise 9: Implementando o Leaky ReLu Exercise 10: Compreensão das funções de ativação Exercise 11: Taxa de aprendizado e impulso Exercise 12: Experimentando a taxa de aprendizado Exercise 13: Experimentando o impulso

Treinar um modelo de aprendizagem profunda é uma arte e, para garantir que nosso modelo seja treinado corretamente, precisamos acompanhar determinadas métricas durante o treinamento, como a perda ou a precisão. Aprenderemos como calcular essas métricas e como reduzir o ajuste excessivo.

Exercise 1: Inicialização de camadas e aprendizagem por transferência Exercise 2: Processo de ajuste fino Exercise 3: Congelar camadas de um modelo Exercise 4: Inicialização da camada Exercise 5: Avaliação do desempenho do modelo Exercise 6: Escrevendo o loop de avaliação Exercise 7: Cálculo da precisão usando a medição da tocha Exercise 8: Combate ao ajuste excessivo Exercise 9: Experimentando o abandono Exercise 10: Entendendo o overfitting Exercise 11: Melhorar o desempenho do modelo Exercise 12: Implementação da pesquisa aleatória

Exercício atual

Exercise 13: Vídeo de encerramento