Activatiefuncties begrijpen

Je hebt alles geleerd over ReLU vs. leaky ReLU. Welke twee van de volgende uitspraken zijn waar?

Deze oefening maakt deel uit van de cursus

Introductie tot Deep Learning met PyTorch

Bekijk cursus

Interactieve oefening met praktijkervaring

Zet theorie om in actie met een van onze interactieve oefeningen

Begin oefening

Deze oefening maakt deel uit van de cursus

Introductie tot Deep Learning met PyTorch

SkillTag.level.intermediateSkillTag.label

4.8+

4405 reviews

Begin gratis met de cursus

Zelfrijdende auto's, smartphones, zoekmachines... Deep learning is nu overal. Voordat je complexe modellen gaat bouwen, maak je kennis met PyTorch, een deep-learningframework. Je leert hoe je met tensors werkt, PyTorch-gegevensstructuren maakt en je eerste neurale netwerk in PyTorch bouwt met lineaire lagen.

Exercise 1: Introductie tot deep learning met PyTorch Exercise 2: Aan de slag met PyTorch-tensors Exercise 3: Tensors controleren en optellen Exercise 4: Neurale netwerken en lagen Exercise 5: Netwerk met lineaire laag Exercise 6: Gewichten begrijpen Exercise 7: Verborgen lagen en parameters Exercise 8: Je eerste neurale netwerk Exercise 9: Lineaire lagen stapelen Exercise 10: Het aantal parameters tellen

Om een neuraal netwerk in PyTorch te trainen, moet je eerst extra componenten begrijpen, zoals activatie- en verliesfuncties. Je ziet dan dat het trainen van een netwerk neerkomt op het minimaliseren van die verliesfunctie, wat gebeurt door gradiënten te berekenen. Je leert hoe je deze gradiënten gebruikt om de parameters van je model bij te werken.

Exercise 1: Ontdekken van activatiefuncties Exercise 2: Activeer je begrip!Exercise 3: De sigmoid- en softmax-functies Exercise 4: Een forward pass uitvoeren Exercise 5: Een binaire classifier bouwen in PyTorch Exercise 6: Van regressie naar multi-class-classificatie Exercise 7: Met verliesfuncties de voorspellingen van je model beoordelen Exercise 8: One-hot gecodeerde labels maken Exercise 9: Cross-entropy loss berekenen Exercise 10: Afgeleiden gebruiken om modelparameters bij te werken Exercise 11: De modelparameters benaderen Exercise 12: De gewichten handmatig bijwerken Exercise 13: De PyTorch-optimizer gebruiken

Nu je de belangrijkste componenten van een neuraal netwerk kent, ga je er één trainen met een trainingslus. Je verkent mogelijke problemen zoals verdwijnende gradiënten en leert strategieën om die aan te pakken, zoals alternatieve activatiefuncties en het afstellen van learning rate en momentum.

Exercise 1: Dieper duiken in het laden van data Exercise 2: TensorDataset gebruiken Exercise 3: DataLoader gebruiken Exercise 4: Onze eerste trainingslus schrijven Exercise 5: MSELoss gebruiken Exercise 6: Een trainingslus schrijven Exercise 7: ReLU-activatiefuncties Exercise 8: ReLU implementeren Exercise 9: Leaky ReLU implementeren Exercise 10: Activatiefuncties begrijpen

Huidige oefening

Exercise 11: Learning rate en momentum Exercise 12: Experimenteren met de learning rate Exercise 13: Experimenteren met momentum

Een deep-learningmodel trainen is een kunst. Om zeker te weten dat ons model correct traint, moeten we tijdens het trainen bepaalde metriek bijhouden, zoals de loss of de nauwkeurigheid. We leren hoe we zulke metriek berekenen en hoe we overfitting verminderen.

Exercise 1: Laag-initialisatie en transfer learning Exercise 2: Fine-tuning-proces Exercise 3: Lagen van een model bevriezen Exercise 4: Laag-initialisatie Exercise 5: Modelprestatie evalueren Exercise 6: De evaluatielus schrijven Exercise 7: Nauwkeurigheid berekenen met torchmetrics Exercise 8: Overfitting tegengaan Exercise 9: Experimenteren met dropout Exercise 10: Overfitting begrijpen Exercise 11: De modelprestaties verbeteren Exercise 12: Random search implementeren Exercise 13: Afsluitende video