Activaties: ReLU vs. ELU

De keuze van de activatiefuncties in het model (in combinatie met de bijbehorende initiële gewichten) kan een grote impact hebben op het trainingsproces. Met de juiste activatie voorkom je vooral dat het netwerk last krijgt van instabiele gradiënten.

In de vorige oefening ben je overgestapt van ReLU naar ELU. Weet je nog welke eigenschappen van deze twee activaties die keuze onderbouwen?

Deze oefening maakt deel uit van de cursus

Gevorderde Deep Learning met PyTorch

Bekijk cursus

Interactieve oefening met praktijkervaring

Zet theorie om in actie met een van onze interactieve oefeningen

Begin oefening

Deze oefening maakt deel uit van de cursus

Gevorderde Deep Learning met PyTorch

SkillTag.level.intermediateSkillTag.label

4.8+

2079 reviews

Begin gratis met de cursus

Leer hoe je neurale netwerken op een robuuste manier traint. In dit hoofdstuk gebruik je objectgeoriënteerd programmeren om PyTorch-datasets en -modellen te definiëren en fris je je kennis op over het trainen en evalueren van neurale netwerken. Je maakt ook kennis met verschillende optimizers en gaat tot slot aan de slag met technieken die helpen de veelvoorkomende problemen van onstabiele gradiënten bij het trainen van neurale netwerken te beperken.

Exercise 1: PyTorch en objectgeoriënteerd programmeren Exercise 2: PyTorch-gegevensset Exercise 3: PyTorch DataLoader Exercise 4: PyTorch-model Exercise 5: Optimizers, training en evaluatie Exercise 6: Trainingslus Exercise 7: Optimizers Exercise 8: Modelevaluatie Exercise 9: Verkokende en exploderende gradiënten Exercise 10: Initialisatie en activatie Exercise 11: Activaties: ReLU vs. ELU

Huidige oefening

Exercise 12: Batch-normalisatie

Train neurale netwerken om beeldclassificatietaken op te lossen. In dit hoofdstuk leer je hoe je beelddata in PyTorch verwerkt en ga je aan de slag met convolutional neural networks (CNN’s). Je oefent met het trainen en evalueren van een beeldclassificatiemodel en leert hoe je de modelprestaties verbetert met data-augmentatie.

Exercise 1: Afbeeldingen verwerken met PyTorch Exercise 2: Afbeeldingsgegevensset Exercise 3: Data-augmentatie Exercise 4: Data-augmentatie in PyTorch Exercise 5: Convolutionele neurale netwerken Exercise 6: De convolutionele laag Exercise 7: Convolutionele netwerken bouwen Exercise 8: Afbeeldingsclassificatiemodellen trainen Exercise 9: Augmentaties kiezen Exercise 10: Gegevensset met augmentaties Exercise 11: Trainingslus voor beeldclassificatie Exercise 12: Beoordeling van beeldclassificatiemodellen Exercise 13: Evaluatie van een multiclass-model Exercise 14: Metrics per klasse analyseren

Bouw en train recurrente neurale netwerken (RNN’s) voor het verwerken van sequentiële data zoals tijdreeksen, tekst of audio. Je leert over de twee populairste recurrente architecturen, Long Short-Term Memory (LSTM) en Gated Recurrent Unit (GRU), en hoe je sequentiële data voorbereidt voor training. Je oefent je vaardigheden door een recurrent model te trainen en te evalueren om het elektriciteitsverbruik te voorspellen.

Exercise 1: Omgaan met sequenties met PyTorch Exercise 2: Reeksen genereren Exercise 3: Sequentiële dataset Exercise 4: Recurrent Neural Networks Exercise 5: Sequentiële architecturen Exercise 6: Een voorspellende RNN bouwen Exercise 7: LSTM- en GRU-cellen Exercise 8: RNN vs. LSTM vs. GRU Exercise 9: LSTM-netwerk Exercise 10: GRU-netwerk Exercise 11: RNN's trainen en evalueren Exercise 12: RNN-trainingslus Exercise 13: Voorspellingsmodellen evalueren

Bouw modellen met meerdere inputs en outputs, en laat zien hoe ze taken aankunnen die meer dan één invoer vereisen of meerdere uitvoer genereren. Je onderzoekt hoe je deze modellen ontwerpt en traint met PyTorch en verdiept je in het cruciale onderwerp van verliesweging in multi-outputmodellen. Dit houdt in dat je leert hoe je het belang van verschillende taken in balans brengt wanneer je een model traint om meerdere taken tegelijk uit te voeren.

Exercise 1: Multi-inputmodellen Exercise 2: Gegevensset met twee inputbronnen Exercise 3: Model met twee invoeren Exercise 4: Twee-inputmodel trainen Exercise 5: Multi-outputmodellen Exercise 6: Dataset en DataLoader met twee uitgangen Exercise 7: Architectuur voor model met twee outputs Exercise 8: Multi-outputmodellen trainen Exercise 9: Evaluatie van multi-outputmodellen en verliesweging Exercise 10: Evaluatie van multi-outputmodel Exercise 11: Weging van de loss Exercise 12: Afronding