Inicialização da camada

A inicialização dos pesos de uma rede neural tem sido o foco dos pesquisadores há muitos anos. Ao treinar uma rede, o método usado para inicializar os pesos tem um impacto direto sobre o desempenho final da rede.

Como praticante de aprendizado de máquina, você deve ser capaz de experimentar diferentes estratégias de inicialização. Neste exercício, você está criando uma pequena rede neural composta de duas camadas e está decidindo inicializar os pesos de cada camada com o método uniforme.

Este exercício faz parte do curso

Introdução à aprendizagem profunda com PyTorch

Instruções de exercício

Para cada camada (layer0 e layer1), use o método de inicialização uniforme para inicializar os pesos.

Exercício interativo prático

Experimente este exercício preenchendo este código de exemplo.

layer0 = nn.Linear(16, 32)
layer1 = nn.Linear(32, 64)

# Use uniform initialization for layer0 and layer1 weights
nn.____.____(____)
nn.____.____(____)

model = nn.Sequential(layer0, layer1)

Editar e executar código

Este exercício faz parte do curso

Introdução à aprendizagem profunda com PyTorch

IntermediárioNível de habilidade

4.8+

Iniciar curso gratuitamente

Carros autônomos, smartphones, mecanismos de busca... A aprendizagem profunda está agora em toda parte. Antes de começar a criar modelos complexos, você se familiarizará com o PyTorch, uma estrutura de aprendizagem profunda. Você aprenderá a manipular tensores, criar estruturas de dados do PyTorch e criar sua primeira rede neural no PyTorch com camadas lineares.

Exercise 1: Introdução à aprendizagem profunda com o PyTorch Exercise 2: Introdução aos tensores do PyTorch Exercise 3: Verificação e adição de tensores Exercise 4: Redes neurais e camadas Exercise 5: Rede de camadas lineares Exercise 6: Entendendo os pesos Exercise 7: Camadas ocultas e parâmetros Exercise 8: Sua primeira rede neural Exercise 9: Empilhamento de camadas lineares Exercise 10: Contagem do número de parâmetros

Para treinar uma rede neural no PyTorch, você precisará primeiro entender os componentes adicionais, como as funções de ativação e perda. Você perceberá que o treinamento de uma rede requer a minimização dessa função de perda, o que é feito por meio do cálculo de gradientes. Você aprenderá a usar esses gradientes para atualizar os parâmetros do seu modelo.

Exercise 1: Descoberta de funções de ativação Exercise 2: Ative sua compreensão!Exercise 3: As funções sigmoide e softmax Exercise 4: Executar um passe para frente Exercise 5: Criando um classificador binário no PyTorch Exercise 6: Da regressão à classificação multiclasse Exercise 7: Uso de funções de perda para avaliar as previsões do modelo Exercise 8: Criação de etiquetas codificadas com um único ponto Exercise 9: Cálculo da perda de entropia cruzada Exercise 10: Uso de derivadas para atualizar os parâmetros do modelo Exercise 11: Acesso aos parâmetros do modelo Exercise 12: Atualizando os pesos manualmente Exercise 13: Usando o otimizador PyTorch

Agora que você aprendeu os principais componentes de uma rede neural, você treinará uma usando um loop de treinamento. Você explorará problemas em potencial, como gradientes que desaparecem, e aprenderá estratégias para resolvê-los, como funções de ativação alternativas e ajuste da taxa de aprendizado e do momentum.

Exercise 1: Um mergulho mais profundo no carregamento de dados Exercise 2: Usando TensorDataset Exercise 3: Usando o DataLoader Exercise 4: Escrevendo nosso primeiro loop de treinamento Exercise 5: Usando o MSELoss Exercise 6: Escrever um loop de treinamento Exercise 7: Funções de ativação ReLU Exercise 8: Implementação do ReLU Exercise 9: Implementando o Leaky ReLu Exercise 10: Compreensão das funções de ativação Exercise 11: Taxa de aprendizado e impulso Exercise 12: Experimentando a taxa de aprendizado Exercise 13: Experimentando o impulso

Treinar um modelo de aprendizagem profunda é uma arte e, para garantir que nosso modelo seja treinado corretamente, precisamos acompanhar determinadas métricas durante o treinamento, como a perda ou a precisão. Aprenderemos como calcular essas métricas e como reduzir o ajuste excessivo.

Exercise 1: Inicialização de camadas e aprendizagem por transferência Exercise 2: Processo de ajuste fino Exercise 3: Congelar camadas de um modelo Exercise 4: Inicialização da camada

Exercício atual

Exercise 5: Avaliação do desempenho do modelo Exercise 6: Escrevendo o loop de avaliação Exercise 7: Cálculo da precisão usando a medição da tocha Exercise 8: Combate ao ajuste excessivo Exercise 9: Experimentando o abandono Exercise 10: Entendendo o overfitting Exercise 11: Melhorar o desempenho do modelo Exercise 12: Implementação da pesquisa aleatória Exercise 13: Vídeo de encerramento