Normalização em lote

Como aprimoramento final da arquitetura do modelo, vamos adicionar a camada de normalização de lote após cada uma das duas camadas lineares. O truque da norma em lote tende a acelerar a convergência do treinamento e protege o modelo contra problemas de desaparecimento e explosão de gradientes.

Ambos torch.nn e torch.nn.init já foram importados para você como nn e init, respectivamente. Depois que você implementar a alteração na arquitetura do modelo, prepare-se para responder a uma breve pergunta sobre como funciona a normalização de lotes!

Este exercício faz parte do curso

Aprendizagem profunda intermediária com PyTorch

Exercício interativo prático

Experimente este exercício preenchendo este código de exemplo.

class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(9, 16)
        # Add two batch normalization layers
        ____ = ____
        self.fc2 = nn.Linear(16, 8)
        ____ = ____
        self.fc3 = nn.Linear(8, 1)
        
        init.kaiming_uniform_(self.fc1.weight)
        init.kaiming_uniform_(self.fc2.weight)
        init.kaiming_uniform_(self.fc3.weight, nonlinearity="sigmoid")

Editar e executar código

Este exercício faz parte do curso

Aprendizagem profunda intermediária com PyTorch

IntermediárioNível de habilidade

4.8+

Iniciar curso gratuitamente

Saiba como treinar redes neurais de forma robusta. Neste capítulo, você usará a programação orientada a objetos para definir conjuntos de dados e modelos do PyTorch e atualizar seus conhecimentos sobre treinamento e avaliação de redes neurais. Você também se familiarizará com diferentes otimizadores e, por fim, se familiarizará com várias técnicas que ajudam a atenuar os problemas de gradientes instáveis tão onipresentes no treinamento de redes neurais.

Exercise 1: PyTorch e programação orientada a objetos Exercise 2: Conjunto de dados do PyTorch Exercise 3: DataLoader do PyTorch Exercise 4: Modelo do PyTorch Exercise 5: Otimizadores, treinamento e avaliação Exercise 6: Loop de treinamento Exercise 7: Otimizadores Exercise 8: Avaliação do modelo Exercise 9: Desaparecimento e explosão de gradientes Exercise 10: Inicialização e ativação Exercise 11: Ativações: ReLU vs. ELU Exercise 12: Normalização em lote

Exercício atual

Treine redes neurais para resolver tarefas de classificação de imagens. Neste capítulo, você aprenderá a lidar com dados de imagem no PyTorch e a se familiarizar com as redes neurais convolucionais (CNNs). Você praticará o treinamento e a avaliação de um classificador de imagens enquanto aprende a melhorar o desempenho do modelo com o aumento de dados.

Exercise 1: Manipulação de imagens com o PyTorch Exercise 2: Conjunto de dados de imagem Exercise 3: Aumento de dados Exercise 4: Aumento de dados no PyTorch Exercise 5: Redes neurais convolucionais Exercise 6: A camada convolucional Exercise 7: Criação de redes convolucionais Exercise 8: Treinamento de classificadores de imagens Exercise 9: Escolha de aumentos Exercise 10: Conjunto de dados com aumentos Exercise 11: Loop de treinamento do classificador de imagem Exercise 12: Avaliação de classificadores de imagens Exercise 13: Avaliação de modelos multiclasse Exercise 14: Análise de métricas por classe

Crie e treine redes neurais recorrentes (RNNs) para processar dados sequenciais, como séries temporais, texto ou áudio. Você aprenderá sobre as duas arquiteturas recorrentes mais populares, as redes de memória de curto e longo prazo (LSTM) e de unidade recorrente fechada (GRU), além de como preparar dados sequenciais para o treinamento do modelo. Você praticará suas habilidades treinando e avaliando um modelo recorrente para prever o consumo de eletricidade.

Exercise 1: Manipulação de sequências com o PyTorch Exercise 2: Geração de sequências Exercise 3: Conjunto de dados sequenciais Exercise 4: Redes neurais recorrentes Exercise 5: Arquiteturas sequenciais Exercise 6: Criação de um RNN de previsão Exercise 7: Células LSTM e GRU Exercise 8: RNN vs. LSTM vs. GRU Exercise 9: Rede LSTM Exercise 10: Rede GRU Exercise 11: Treinamento e avaliação de RNNs Exercise 12: Ciclo de treinamento de RNN Exercise 13: Avaliação de modelos de previsão

Crie modelos com várias entradas e saídas, demonstrando como eles podem lidar com tarefas que exigem mais de uma entrada ou geram várias saídas. Você explorará como projetar e treinar esses modelos usando o PyTorch e se aprofundará no tópico crucial da ponderação de perdas em modelos com várias saídas. Isso envolve entender como equilibrar a importância de diferentes tarefas ao treinar um modelo para executar várias tarefas simultaneamente.

Exercise 1: Modelos de várias entradas Exercise 2: Conjunto de dados de duas entradas Exercise 3: Modelo de duas entradas Exercise 4: Treinamento do modelo de duas entradas Exercise 5: Modelos de várias saídas Exercise 6: Conjunto de dados e DataLoader de duas saídas Exercise 7: Arquitetura do modelo de duas saídas Exercise 8: Treinamento de modelos de várias saídas Exercise 9: Avaliação de modelos de várias saídas e ponderação de perdas Exercise 10: Avaliação do modelo de várias saídas Exercise 11: Ponderação de perdas Exercise 12: Resumo