Lagen van een model bevriezen

Je gaat een model fine-tunen op een nieuwe taak nadat je voorgetrainde gewichten hebt geladen. Het model bevat drie lineaire lagen. Omdat je gegevensset klein is, wil je alleen de laatste lineaire laag trainen en de eerste twee lineaire lagen bevriezen.

Het model is al aangemaakt en staat in de variabele model. Je gebruikt de methode named_parameters van het model om de parameters van het model op te sommen. Elke parameter heeft een naam. Deze naam is een string met de volgende naamgevingsconventie: x.name, waarbij x de index van de laag is.

Onthoud dat een lineaire laag twee parameters heeft: de weight en de bias.

Deze oefening maakt deel uit van de cursus

Introductie tot Deep Learning met PyTorch

Cursus bekijken

Oefeninstructies

Gebruik een if-statement om te controleren of een parameter een weight is van de eerste of tweede laag.
Vries de weights van de eerste twee lagen van dit model.

Praktische interactieve oefening

Probeer deze oefening eens door deze voorbeeldcode in te vullen.

for name, param in model.named_parameters():
  
    # Check for first layer's weight
    if name == '____':
   
        # Freeze this weight
        param.____ = ____
        
    # Check for second layer's weight
    if name == '____':
      
        # Freeze this weight
        param.____ = ____

Code bewerken en uitvoeren

Deze oefening maakt deel uit van de cursus

Introductie tot Deep Learning met PyTorch

SkillTag.level.intermediateSkillTag.label

4.8+

Begin de cursus gratis

Self-driving cars, smartphones, search engines... Deep learning is now everywhere. Before you begin building complex models, you will become familiar with PyTorch, a deep learning framework. You will learn how to manipulate tensors, create PyTorch data structures, and build your first neural network in PyTorch with linear layers.

Exercise 1: Introduction to deep learning with PyTorch Exercise 2: Getting started with PyTorch tensors Exercise 3: Checking and adding tensors Exercise 4: Neural networks and layers Exercise 5: Linear layer network Exercise 6: Understanding weights Exercise 7: Hidden layers and parameters Exercise 8: Your first neural network Exercise 9: Stacking linear layers Exercise 10: Counting the number of parameters

To train a neural network in PyTorch, you will first need to understand additional components, such as activation and loss functions. You will then realize that training a network requires minimizing that loss function, which is done by calculating gradients. You will learn how to use these gradients to update your model's parameters.

Exercise 1: Discovering activation functions Exercise 2: Activate your understanding!Exercise 3: The sigmoid and softmax functions Exercise 4: Running a forward pass Exercise 5: Building a binary classifier in PyTorch Exercise 6: From regression to multi-class classification Exercise 7: Using loss functions to assess model predictions Exercise 8: Creating one-hot encoded labels Exercise 9: Calculating cross entropy loss Exercise 10: Using derivatives to update model parameters Exercise 11: Accessing the model parameters Exercise 12: Updating the weights manually Exercise 13: Using the PyTorch optimizer

Now that you've learned the key components of a neural network, you'll train one using a training loop. You'll explore potential issues like vanishing gradients and learn strategies to address them, such as alternative activation functions and tuning learning rate and momentum.

Exercise 1: A deeper dive into loading data Exercise 2: Using TensorDataset Exercise 3: Using DataLoader Exercise 4: Writing our first training loop Exercise 5: Using the MSELoss Exercise 6: Writing a training loop Exercise 7: ReLU activation functions Exercise 8: Implementing ReLU Exercise 9: Implementing leaky ReLU Exercise 10: Understanding activation functions Exercise 11: Learning rate and momentum Exercise 12: Experimenting with learning rate Exercise 13: Experimenting with momentum

Training a deep learning model is an art, and to make sure our model is trained correctly, we need to keep track of certain metrics during training, such as the loss or the accuracy. We will learn how to calculate such metrics and how to reduce overfitting.

Exercise 1: Laag-initialisatie en transfer learning Exercise 2: Fine-tuning-proces Exercise 3: Lagen van een model bevriezen

Huidige oefening

Exercise 4: Laag-initialisatie Exercise 5: Modelprestatie evalueren Exercise 6: De evaluatielus schrijven Exercise 7: Nauwkeurigheid berekenen met torchmetrics Exercise 8: Overfitting tegengaan Exercise 9: Experimenteren met dropout Exercise 10: Overfitting begrijpen Exercise 11: De modelprestaties verbeteren Exercise 12: Random search implementeren Exercise 13: Afsluitende video