Aktiveringsfunktioner: ReLU vs. ELU

Valet av aktiveringsfunktioner i modellen – i kombination med motsvarande viktinitiering – kan ha stor påverkan på träningsprocessen. Rätt aktiveringsfunktion kan i synnerhet förhindra att nätverket drabbas av problem med instabila gradienter.

I den förra övningen bytte du från ReLU till ELU som aktiveringsfunktion. Kommer du ihåg vilka egenskaper hos de två funktionerna som motiverar det bytet?

Den här övningen är en del av kursen

Fördjupad djupinlärning med PyTorch

Visa kurs

Interaktiv övning med praktiskt arbete

Gör teori till handling med en av våra interaktiva övningar

Starta övningen

Den här övningen är en del av kursen

Fördjupad djupinlärning med PyTorch

SkillTag.level.intermediateSkillTag.label

4.8+

2164 reviews

Starta kursen gratis

Lär dig att träna neurala nätverk på ett robust sätt. I det här kapitlet använder du objektorienterad programmering för att definiera PyTorch-datamängder och modeller, och du fräschar upp dina kunskaper om träning och utvärdering av neurala nätverk. Du bekantar dig också med olika optimerare och lär dig slutligen olika tekniker för att hantera problemet med instabila gradienter – ett vanligt förekommande problem vid träning av neurala nätverk.

Exercise 1: PyTorch och objektorienterad programmering Exercise 2: PyTorch Dataset Exercise 3: PyTorch DataLoader Exercise 4: PyTorch-modell Exercise 5: Optimizers, träning och utvärdering Exercise 6: Träningsloop Exercise 7: Optimerare Exercise 8: Modellutvärdering Exercise 9: Försvinnande och exploderande gradienter Exercise 10: Initialisering och aktivering Exercise 11: Aktiveringsfunktioner: ReLU vs. ELU

Aktuell övning

Exercise 12: Batchnormalisering

Träna neurala nätverk för bildklassificering. I det här kapitlet lär du dig att hantera bilddata i PyTorch och bekantar dig med CNN-nätverk (convolutional neural networks). Du övar på att träna och utvärdera en bildklassificerare och lär dig hur du kan förbättra modellens prestanda med dataaugmentering.

Exercise 1: Bildhantering med PyTorch Exercise 2: Bilddatamängd Exercise 3: Dataaugmentering Exercise 4: Dataaugmentering i PyTorch Exercise 5: Konvolutionella neurala nätverk Exercise 6: Konvolutionslagret Exercise 7: Bygga faltningsnätverk Exercise 8: Träna bildklassificerare Exercise 9: Välja augmenteringar Exercise 10: Datamängd med augmenteringar Exercise 11: Träningsloop för bildklassificerare Exercise 12: Utvärdering av bildklassificerare Exercise 13: Utvärdering av flerklasskoppling Exercise 14: Analysera mätvärden per klass

Bygg och träna rekurrenta neurala nätverk (RNN) för att bearbeta sekventiella data som tidsserier, text eller ljud. Du lär dig om de två mest populära rekurrenta arkitekturerna – LSTM-nätverk (Long Short-Term Memory) och GRU-nätverk (Gated Recurrent Unit) – samt hur du förbereder sekventiella data för modellträning. Du får öva dina kunskaper genom att träna och utvärdera en rekurrent modell för att förutsäga elförbrukning.

Exercise 1: Hantera sekvenser med PyTorch Exercise 2: Generera sekvenser Exercise 3: Sekventiellt dataset Exercise 4: Rekurrenta neurala nätverk Exercise 5: Sekventiella arkitekturer Exercise 6: Bygg ett prognostiserande RNN Exercise 7: LSTM- och GRU-celler Exercise 8: RNN vs. LSTM vs. GRU Exercise 9: LSTM-nätverk Exercise 10: GRU-nätverk Exercise 11: Träning och utvärdering av RNN Exercise 12: Träningsloop för RNN Exercise 13: Utvärdera prognosmodeller

Bygg modeller med flera indata och flera utdata, och se hur de hanterar uppgifter som kräver mer än ett indata eller genererar flera utdata. Du utforskar hur du utformar och tränar sådana modeller i PyTorch och fördjupar dig i det viktiga ämnet förlustvikning i modeller med flera utdata. Det handlar om att förstå hur man balanserar vikten av olika uppgifter när en modell tränas för att utföra flera uppgifter samtidigt.

Exercise 1: Modeller med flera indata Exercise 2: Datamängd med två indata Exercise 3: Modell med två indata Exercise 4: Träna en modell med två ingångar Exercise 5: Modeller med flera utdata Exercise 6: Dataset och DataLoader med två utdata Exercise 7: Arkitektur för modell med två utdata Exercise 8: Träna modeller med flera utdata Exercise 9: Utvärdering av modeller med flera utdata och förlustsviktning Exercise 10: Utvärdering av flödesutdatamodell Exercise 11: Viktning av förlustfunktion Exercise 12: Avslutning