Förstå aktiveringsfunktioner

Du har lärt dig allt om ReLU och leaky ReLU. Vilka två av följande påståenden är sanna?

Den här övningen är en del av kursen

Introduktion till djupinlärning med PyTorch

Visa kurs

Interaktiv övning med praktiskt arbete

Gör teori till handling med en av våra interaktiva övningar

Starta övningen

Den här övningen är en del av kursen

Introduktion till djupinlärning med PyTorch

SkillTag.level.intermediateSkillTag.label

4.8+

4584 reviews

Starta kursen gratis

Självkörande bilar, smartphones, sökmotorer – djupinlärning finns nu överallt. Innan du börjar bygga komplexa modeller får du bekanta dig med PyTorch, ett ramverk för djupinlärning. Du lär dig att hantera tensorer, skapa PyTorch-datastrukturer och bygga ditt första neurala nätverk i PyTorch med linjära lager.

Exercise 1: Introduktion till djupinlärning med PyTorch Exercise 2: Kom igång med PyTorch-tensorer Exercise 3: Kontrollera och addera tensorer Exercise 4: Neurala nätverk och lager Exercise 5: Nätverk med linjärt lager Exercise 6: Förstå vikter Exercise 7: Dolda lager och parametrar Exercise 8: Ditt första neurala nätverk Exercise 9: Stapla linjära lager Exercise 10: Räkna antalet parametrar

För att träna ett neuralt nätverk i PyTorch behöver du först förstå ytterligare komponenter, till exempel aktiveringsfunktioner och förlustfunktioner. Du kommer att se att träning av ett nätverk kräver att man minimerar förlustfunktionen, vilket görs genom att beräkna gradienter. Du lär dig hur du använder dessa gradienter för att uppdatera modellens parametrar.

Exercise 1: Att utforska aktiveringsfunktioner Exercise 2: Testa din förståelse!Exercise 3: Sigmoid- och softmax-funktionerna Exercise 4: Köra ett framåtpass Exercise 5: Bygg en binär klassificerare i PyTorch Exercise 6: Från regression till flerklass-klassificering Exercise 7: Att använda förlustfunktioner för att utvärdera modellens prediktioner Exercise 8: Skapa one-hot-kodade etiketter Exercise 9: Beräkna cross-entropy-förlust Exercise 10: Använda derivator för att uppdatera modellparametrar Exercise 11: Åtkomst till modellparametrar Exercise 12: Uppdatera vikterna manuellt Exercise 13: Använda PyTorch-optimeraren

Nu när du har lärt dig de viktigaste komponenterna i ett neuralt nätverk ska du träna ett med hjälp av en träningsloop. Du undersöker potentiella problem som försvinnande gradienter och lär dig strategier för att hantera dem, till exempel alternativa aktiveringsfunktioner samt justering av inlärningshastighet och momentum.

Exercise 1: Djupdykning i dataladdning Exercise 2: Använda TensorDataset Exercise 3: Använda DataLoader Exercise 4: Vi skriver vår första träningsloop Exercise 5: Använda MSELoss Exercise 6: Skriva en träningsloop Exercise 7: ReLU-aktiveringsfunktioner Exercise 8: Implementera ReLU Exercise 9: Implementera Leaky ReLU Exercise 10: Förstå aktiveringsfunktioner

Aktuell övning

Exercise 11: Inlärningshastighet och momentum Exercise 12: Experimentera med inlärningshastigheten Exercise 13: Experimentera med momentum

Att träna en djupinlärningsmodell är en konst, och för att säkerställa att modellen tränas korrekt behöver vi följa vissa mätvärden under träningen, till exempel förlust och noggrannhet. Du lär dig att beräkna sådana mätvärden och hur du minskar överanpassning.

Exercise 1: Initiering av lager och transferlärning Exercise 2: Finjusteringsprocessen Exercise 3: Frys lager i en modell Exercise 4: Initiering av lager Exercise 5: Utvärdera modellens prestanda Exercise 6: Skriva evalueringsloopen Exercise 7: Beräkna noggrannhet med torchmetrics Exercise 8: Att motverka överanpassning Exercise 9: Experimentera med dropout Exercise 10: Förstå överanpassning Exercise 11: Förbättra modellens prestanda Exercise 12: Implementera slumpmässig sökning Exercise 13: Avslutande video