Inicialização e ativação

Os problemas de gradientes instáveis (que desaparecem ou explodem) são um desafio que surge com frequência no treinamento de redes neurais profundas. Neste e nos próximos exercícios, você expandirá a arquitetura do modelo que criou para a tarefa de classificação da potabilidade da água para torná-la mais imune a esses problemas.

Como primeira etapa, você aprimorará a inicialização dos pesos usando a estratégia de inicialização He (Kaiming). Para fazer isso, você precisará chamar o inicializador adequado do módulo torch.nn.init, que foi importado para você como init. Em seguida, você atualizará as funções de ativação do padrão ReLU para o frequentemente melhor ELU.

Este exercício faz parte do curso

Aprendizagem profunda intermediária com PyTorch

Instruções de exercício

Chame o inicializador He (Kaiming) no atributo de peso da segunda camada, fc2, de modo semelhante ao que foi feito para fc1.
Chame o inicializador He (Kaiming) no atributo de peso da terceira camada, fc3, levando em conta a função de ativação diferente usada na camada final.
Atualize as funções de ativação no método forward() de relu para elu.

Exercício interativo prático

Experimente este exercício preenchendo este código de exemplo.

class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(9, 16)
        self.fc2 = nn.Linear(16, 8)
        self.fc3 = nn.Linear(8, 1)
        
        # Apply He initialization
        init.kaiming_uniform_(self.fc1.weight)
        ____(____)
        ____(____, ____)

    def forward(self, x):
        # Update ReLU activation to ELU
        x = nn.functional.relu(self.fc1(x))
        x = nn.functional.relu(self.fc2(x))
        x = nn.functional.sigmoid(self.fc3(x))
        return x

Editar e executar código

Este exercício faz parte do curso

Aprendizagem profunda intermediária com PyTorch

IntermediárioNível de habilidade

4.8+

Iniciar curso gratuitamente

Saiba como treinar redes neurais de forma robusta. Neste capítulo, você usará a programação orientada a objetos para definir conjuntos de dados e modelos do PyTorch e atualizar seus conhecimentos sobre treinamento e avaliação de redes neurais. Você também se familiarizará com diferentes otimizadores e, por fim, se familiarizará com várias técnicas que ajudam a atenuar os problemas de gradientes instáveis tão onipresentes no treinamento de redes neurais.

Exercise 1: PyTorch e programação orientada a objetos Exercise 2: Conjunto de dados do PyTorch Exercise 3: DataLoader do PyTorch Exercise 4: Modelo do PyTorch Exercise 5: Otimizadores, treinamento e avaliação Exercise 6: Loop de treinamento Exercise 7: Otimizadores Exercise 8: Avaliação do modelo Exercise 9: Desaparecimento e explosão de gradientes Exercise 10: Inicialização e ativação

Exercício atual

Exercise 11: Ativações: ReLU vs. ELU Exercise 12: Normalização em lote

Treine redes neurais para resolver tarefas de classificação de imagens. Neste capítulo, você aprenderá a lidar com dados de imagem no PyTorch e a se familiarizar com as redes neurais convolucionais (CNNs). Você praticará o treinamento e a avaliação de um classificador de imagens enquanto aprende a melhorar o desempenho do modelo com o aumento de dados.

Exercise 1: Manipulação de imagens com o PyTorch Exercise 2: Conjunto de dados de imagem Exercise 3: Aumento de dados Exercise 4: Aumento de dados no PyTorch Exercise 5: Redes neurais convolucionais Exercise 6: A camada convolucional Exercise 7: Criação de redes convolucionais Exercise 8: Treinamento de classificadores de imagens Exercise 9: Escolha de aumentos Exercise 10: Conjunto de dados com aumentos Exercise 11: Loop de treinamento do classificador de imagem Exercise 12: Avaliação de classificadores de imagens Exercise 13: Avaliação de modelos multiclasse Exercise 14: Análise de métricas por classe

Crie e treine redes neurais recorrentes (RNNs) para processar dados sequenciais, como séries temporais, texto ou áudio. Você aprenderá sobre as duas arquiteturas recorrentes mais populares, as redes de memória de curto e longo prazo (LSTM) e de unidade recorrente fechada (GRU), além de como preparar dados sequenciais para o treinamento do modelo. Você praticará suas habilidades treinando e avaliando um modelo recorrente para prever o consumo de eletricidade.

Exercise 1: Manipulação de sequências com o PyTorch Exercise 2: Geração de sequências Exercise 3: Conjunto de dados sequenciais Exercise 4: Redes neurais recorrentes Exercise 5: Arquiteturas sequenciais Exercise 6: Criação de um RNN de previsão Exercise 7: Células LSTM e GRU Exercise 8: RNN vs. LSTM vs. GRU Exercise 9: Rede LSTM Exercise 10: Rede GRU Exercise 11: Treinamento e avaliação de RNNs Exercise 12: Ciclo de treinamento de RNN Exercise 13: Avaliação de modelos de previsão

Crie modelos com várias entradas e saídas, demonstrando como eles podem lidar com tarefas que exigem mais de uma entrada ou geram várias saídas. Você explorará como projetar e treinar esses modelos usando o PyTorch e se aprofundará no tópico crucial da ponderação de perdas em modelos com várias saídas. Isso envolve entender como equilibrar a importância de diferentes tarefas ao treinar um modelo para executar várias tarefas simultaneamente.

Exercise 1: Modelos de várias entradas Exercise 2: Conjunto de dados de duas entradas Exercise 3: Modelo de duas entradas Exercise 4: Treinamento do modelo de duas entradas Exercise 5: Modelos de várias saídas Exercise 6: Conjunto de dados e DataLoader de duas saídas Exercise 7: Arquitetura do modelo de duas saídas Exercise 8: Treinamento de modelos de várias saídas Exercise 9: Avaliação de modelos de várias saídas e ponderação de perdas Exercise 10: Avaliação do modelo de várias saídas Exercise 11: Ponderação de perdas Exercise 12: Resumo