Implementação do ReLU

A ReLU (Rectified Linear Unit, unidade linear retificada) é uma função de ativação amplamente utilizada na aprendizagem profunda, solucionando desafios como o problema de gradientes que desaparecem.

Neste exercício, você implementará o ReLU no PyTorch, aplicá-lo-á a valores positivos e negativos e observará os resultados.

torch.nn já foi importado para você como nn.

Este exercício faz parte do curso

Introdução à aprendizagem profunda com PyTorch

Exercício interativo prático

Experimente este exercício preenchendo este código de exemplo.

# Create a ReLU function with PyTorch
relu_pytorch = ____

Editar e executar código

Este exercício faz parte do curso

Introdução à aprendizagem profunda com PyTorch

IntermediárioNível de habilidade

4.8+

Iniciar curso gratuitamente

Carros autônomos, smartphones, mecanismos de busca... A aprendizagem profunda está agora em toda parte. Antes de começar a criar modelos complexos, você se familiarizará com o PyTorch, uma estrutura de aprendizagem profunda. Você aprenderá a manipular tensores, criar estruturas de dados do PyTorch e criar sua primeira rede neural no PyTorch com camadas lineares.

Exercise 1: Introdução à aprendizagem profunda com o PyTorch Exercise 2: Introdução aos tensores do PyTorch Exercise 3: Verificação e adição de tensores Exercise 4: Redes neurais e camadas Exercise 5: Rede de camadas lineares Exercise 6: Entendendo os pesos Exercise 7: Camadas ocultas e parâmetros Exercise 8: Sua primeira rede neural Exercise 9: Empilhamento de camadas lineares Exercise 10: Contagem do número de parâmetros

Para treinar uma rede neural no PyTorch, você precisará primeiro entender os componentes adicionais, como as funções de ativação e perda. Você perceberá que o treinamento de uma rede requer a minimização dessa função de perda, o que é feito por meio do cálculo de gradientes. Você aprenderá a usar esses gradientes para atualizar os parâmetros do seu modelo.

Exercise 1: Descoberta de funções de ativação Exercise 2: Ative sua compreensão!Exercise 3: As funções sigmoide e softmax Exercise 4: Executar um passe para frente Exercise 5: Criando um classificador binário no PyTorch Exercise 6: Da regressão à classificação multiclasse Exercise 7: Uso de funções de perda para avaliar as previsões do modelo Exercise 8: Criação de etiquetas codificadas com um único ponto Exercise 9: Cálculo da perda de entropia cruzada Exercise 10: Uso de derivadas para atualizar os parâmetros do modelo Exercise 11: Acesso aos parâmetros do modelo Exercise 12: Atualizando os pesos manualmente Exercise 13: Usando o otimizador PyTorch

Agora que você aprendeu os principais componentes de uma rede neural, você treinará uma usando um loop de treinamento. Você explorará problemas em potencial, como gradientes que desaparecem, e aprenderá estratégias para resolvê-los, como funções de ativação alternativas e ajuste da taxa de aprendizado e do momentum.

Exercise 1: Um mergulho mais profundo no carregamento de dados Exercise 2: Usando TensorDataset Exercise 3: Usando o DataLoader Exercise 4: Escrevendo nosso primeiro loop de treinamento Exercise 5: Usando o MSELoss Exercise 6: Escrever um loop de treinamento Exercise 7: Funções de ativação ReLU Exercise 8: Implementação do ReLU

Exercício atual

Exercise 9: Implementando o Leaky ReLu Exercise 10: Compreensão das funções de ativação Exercise 11: Taxa de aprendizado e impulso Exercise 12: Experimentando a taxa de aprendizado Exercise 13: Experimentando o impulso

Treinar um modelo de aprendizagem profunda é uma arte e, para garantir que nosso modelo seja treinado corretamente, precisamos acompanhar determinadas métricas durante o treinamento, como a perda ou a precisão. Aprenderemos como calcular essas métricas e como reduzir o ajuste excessivo.

Exercise 1: Inicialização de camadas e aprendizagem por transferência Exercise 2: Processo de ajuste fino Exercise 3: Congelar camadas de um modelo Exercise 4: Inicialização da camada Exercise 5: Avaliação do desempenho do modelo Exercise 6: Escrevendo o loop de avaliação Exercise 7: Cálculo da precisão usando a medição da tocha Exercise 8: Combate ao ajuste excessivo Exercise 9: Experimentando o abandono Exercise 10: Entendendo o overfitting Exercise 11: Melhorar o desempenho do modelo Exercise 12: Implementação da pesquisa aleatória Exercise 13: Vídeo de encerramento