Ativações: ReLU vs. ELU

A escolha das funções de ativação usadas no modelo (combinada com a inicialização do peso correspondente) pode ter um forte impacto no processo de treinamento. Em particular, a ativação adequada pode evitar que a rede tenha problemas de gradientes instáveis.

No exercício anterior, você mudou de ReLU para ELU ativações. Você se lembra de quais características das duas ativações justificam essa mudança?

Este exercício faz parte do curso

Aprendizagem profunda intermediária com PyTorch

Ver Curso

Exercício interativo prático

Transforme a teoria em ação com um de nossos exercícios interativos

Comece o exercício

Este exercício faz parte do curso

Aprendizagem profunda intermediária com PyTorch

IntermediárioNível de habilidade

4.8+

648 reviews

Iniciar curso gratuitamente

Saiba como treinar redes neurais de forma robusta. Neste capítulo, você usará a programação orientada a objetos para definir conjuntos de dados e modelos do PyTorch e atualizar seus conhecimentos sobre treinamento e avaliação de redes neurais. Você também se familiarizará com diferentes otimizadores e, por fim, se familiarizará com várias técnicas que ajudam a atenuar os problemas de gradientes instáveis tão onipresentes no treinamento de redes neurais.

Exercise 1: PyTorch e programação orientada a objetos Exercise 2: Conjunto de dados do PyTorch Exercise 3: DataLoader do PyTorch Exercise 4: Modelo do PyTorch Exercise 5: Otimizadores, treinamento e avaliação Exercise 6: Loop de treinamento Exercise 7: Otimizadores Exercise 8: Avaliação do modelo Exercise 9: Desaparecimento e explosão de gradientes Exercise 10: Inicialização e ativação Exercise 11: Ativações: ReLU vs. ELU

Exercício atual

Exercise 12: Normalização em lote

Treine redes neurais para resolver tarefas de classificação de imagens. Neste capítulo, você aprenderá a lidar com dados de imagem no PyTorch e a se familiarizar com as redes neurais convolucionais (CNNs). Você praticará o treinamento e a avaliação de um classificador de imagens enquanto aprende a melhorar o desempenho do modelo com o aumento de dados.

Exercise 1: Manipulação de imagens com o PyTorch Exercise 2: Conjunto de dados de imagem Exercise 3: Aumento de dados Exercise 4: Aumento de dados no PyTorch Exercise 5: Redes neurais convolucionais Exercise 6: A camada convolucional Exercise 7: Criação de redes convolucionais Exercise 8: Treinamento de classificadores de imagens Exercise 9: Escolha de aumentos Exercise 10: Conjunto de dados com aumentos Exercise 11: Loop de treinamento do classificador de imagem Exercise 12: Avaliação de classificadores de imagens Exercise 13: Avaliação de modelos multiclasse Exercise 14: Análise de métricas por classe

Crie e treine redes neurais recorrentes (RNNs) para processar dados sequenciais, como séries temporais, texto ou áudio. Você aprenderá sobre as duas arquiteturas recorrentes mais populares, as redes de memória de curto e longo prazo (LSTM) e de unidade recorrente fechada (GRU), além de como preparar dados sequenciais para o treinamento do modelo. Você praticará suas habilidades treinando e avaliando um modelo recorrente para prever o consumo de eletricidade.

Exercise 1: Manipulação de sequências com o PyTorch Exercise 2: Geração de sequências Exercise 3: Conjunto de dados sequenciais Exercise 4: Redes neurais recorrentes Exercise 5: Arquiteturas sequenciais Exercise 6: Criação de um RNN de previsão Exercise 7: Células LSTM e GRU Exercise 8: RNN vs. LSTM vs. GRU Exercise 9: Rede LSTM Exercise 10: Rede GRU Exercise 11: Treinamento e avaliação de RNNs Exercise 12: Ciclo de treinamento de RNN Exercise 13: Avaliação de modelos de previsão

Crie modelos com várias entradas e saídas, demonstrando como eles podem lidar com tarefas que exigem mais de uma entrada ou geram várias saídas. Você explorará como projetar e treinar esses modelos usando o PyTorch e se aprofundará no tópico crucial da ponderação de perdas em modelos com várias saídas. Isso envolve entender como equilibrar a importância de diferentes tarefas ao treinar um modelo para executar várias tarefas simultaneamente.

Exercise 1: Modelos de várias entradas Exercise 2: Conjunto de dados de duas entradas Exercise 3: Modelo de duas entradas Exercise 4: Treinamento do modelo de duas entradas Exercise 5: Modelos de várias saídas Exercise 6: Conjunto de dados e DataLoader de duas saídas Exercise 7: Arquitetura do modelo de duas saídas Exercise 8: Treinamento de modelos de várias saídas Exercise 9: Avaliação de modelos de várias saídas e ponderação de perdas Exercise 10: Avaliação do modelo de várias saídas Exercise 11: Ponderação de perdas Exercise 12: Resumo