Başlatma ve aktivasyon

Kararsız (kaybolan veya taşan) gradyan sorunları, derin sinir ağlarını eğitirken sıkça karşılaşılan bir zorluktur. Bu ve sonraki egzersizlerde, su içilebilirliği sınıflandırma görevi için kurduğun mimariyi genişleterek bu sorunlara karşı daha dayanıklı hale getireceksin.

İlk adım olarak, ağırlık başlatmayı He (Kaiming) başlatma stratejisiyle iyileştireceksin. Bunu yapmak için, senin için init olarak içe aktarılmış olan torch.nn.init modülünden uygun başlatıcıyı çağırman gerekecek. Sonrasında, varsayılan ReLU yerine çoğunlukla daha iyi sonuç veren ELU aktivasyon fonksiyonlarına geçiş yapacaksın.

Bu egzersiz

PyTorch ile Orta Düzey Deep Learning

kursunun bir parçasıdır

Kursu Görüntüle

Egzersiz talimatları

fc1 için yapıldığı gibi, ikinci katmanın fc2 ağırlık özniteliğine He (Kaiming) başlatıcısını uygula.
Son katmanda kullanılan farklı aktivasyon fonksiyonunu dikkate alarak, üçüncü katmanın fc3 ağırlık özniteliğine He (Kaiming) başlatıcısını uygula.
forward() metodundaki aktivasyon fonksiyonlarını relu yerine elu olacak şekilde güncelle.

Uygulamalı interaktif egzersiz

Bu örnek kodu tamamlayarak bu egzersizi bitirin.

class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(9, 16)
        self.fc2 = nn.Linear(16, 8)
        self.fc3 = nn.Linear(8, 1)
        
        # Apply He initialization
        init.kaiming_uniform_(self.fc1.weight)
        ____(____)
        ____(____, ____)

    def forward(self, x):
        # Update ReLU activation to ELU
        x = nn.functional.relu(self.fc1(x))
        x = nn.functional.relu(self.fc2(x))
        x = nn.functional.sigmoid(self.fc3(x))
        return x

Kodu Düzenle ve Çalıştır

Bu egzersiz

PyTorch ile Orta Düzey Deep Learning

kursunun bir parçasıdır

IntermediárioNível de habilidade

4.8+

Kursa Ücretsiz Başlayın

Learn how to train neural networks in a robust way. In this chapter, you will use object-oriented programming to define PyTorch datasets and models and refresh your knowledge of training and evaluating neural networks. You will also get familiar with different optimizers and, finally, get to grips with various techniques that help mitigate the problems of unstable gradients so ubiquitous in neural nets training.

Exercise 1: PyTorch ve nesne yönelimli programlama Exercise 2: PyTorch Veri Kümesi Exercise 3: PyTorch DataLoader Exercise 4: PyTorch Modeli Exercise 5: Optimizasyon araçları, eğitim ve değerlendirme Exercise 6: Eğitim döngüsü Exercise 7: Optimizasyon Algoritmaları Exercise 8: Model değerlendirme Exercise 9: Kaybolan ve taşan gradyanlar Exercise 10: Başlatma ve aktivasyon

Geçerli Egzersiz

Exercise 11: Aktivasyonlar: ReLU vs. ELU Exercise 12: Batch Normalization

Train neural networks to solve image classification tasks. In this chapter, you will learn how to handle image data in PyTorch and get to grips with convolutional neural networks (CNNs). You will practice training and evaluating an image classifier while learning about how to improve the model performance with data augmentation.

Exercise 1: Handling images with PyTorch Exercise 2: Image dataset Exercise 3: Data augmentation Exercise 4: Data augmentation in PyTorch Exercise 5: Convolutional Neural Networks Exercise 6: The convolutional layer Exercise 7: Building convolutional networks Exercise 8: Training image classifiers Exercise 9: Choosing augmentations Exercise 10: Dataset with augmentations Exercise 11: Image classifier training loop Exercise 12: Evaluating image classifiers Exercise 13: Multi-class model evaluation Exercise 14: Analyzing metrics per class

Build and train recurrent neural networks (RNNs) for processing sequential data such as time series, text, or audio. You will learn about the two most popular recurrent architectures, Long-Short Term Memory (LSTM) and Gated Recurrent Unit (GRU) networks, as well as how to prepare sequential data for model training. You will practice your skills by training and evaluating a recurrent model for predicting electricity consumption.

Exercise 1: Handling sequences with PyTorch Exercise 2: Generating sequences Exercise 3: Sequential Dataset Exercise 4: Recurrent Neural Networks Exercise 5: Sequential architectures Exercise 6: Building a forecasting RNN Exercise 7: LSTM and GRU cells Exercise 8: RNN vs. LSTM vs. GRU Exercise 9: LSTM network Exercise 10: GRU network Exercise 11: Training and evaluating RNNs Exercise 12: RNN training loop Exercise 13: Evaluating forecasting models

Build multi-input and multi-output models, demonstrating how they can handle tasks requiring more than one input or generating multiple outputs. You will explore how to design and train these models using PyTorch and delve into the crucial topic of loss weighting in multi-output models. This involves understanding how to balance the importance of different tasks when training a model to perform multiple tasks simultaneously.

Exercise 1: Multi-input models Exercise 2: Two-input dataset Exercise 3: Two-input model Exercise 4: Training two-input model Exercise 5: Multi-output models Exercise 6: Two-output Dataset and DataLoader Exercise 7: Two-output model architecture Exercise 8: Training multi-output models Exercise 9: Evaluation of multi-output models and loss weighting Exercise 10: Multi-output model evaluation Exercise 11: Loss weighting Exercise 12: Wrap-up