Aktivační funkce: ReLU vs. ELU

Volba aktivačních funkcí v modelu (spolu s odpovídající inicializací vah) může mít zásadní vliv na průběh trénování. Správně zvolená aktivační funkce dokáže síti předejít problémům s nestabilními gradienty.

V předchozím cvičení jsi přešel/přešla z aktivace ReLU na ELU. Pamatuješ si, jaké vlastnosti těchto dvou funkcí tuto změnu odůvodňují?

Toto cvičení je součástí kurzu

Intermediate Deep Learning with PyTorch

Zobrazit kurz

Interaktivní praktické cvičení

Proměňte teorii v praxi s jedním z našich interaktivních cvičení

Začít cvičení

Toto cvičení je součástí kurzu

Intermediate Deep Learning with PyTorch

SkillTag.level.intermediateSkillTag.label

4.8+

2165 reviews

Začněte kurz zdarma

Nauč se trénovat neuronové sítě spolehlivým způsobem. V této kapitole využiješ objektově orientované programování k definování datasetů a modelů v PyTorchi a zopakuješ si, jak neuronové sítě trénovat a vyhodnocovat. Seznámíš se také s různými optimalizátory a nakonec si osvojíš techniky, které pomáhají řešit problémy s nestabilními gradienty – jev, se kterým se při trénování neuronových sítí setkáváš velmi často.

Exercise 1: PyTorch a objektově orientované programování Exercise 2: PyTorch Dataset Exercise 3: PyTorch DataLoader Exercise 4: PyTorch model Exercise 5: Optimizéry, trénování a vyhodnocování Exercise 6: Trénovací smyčka Exercise 7: Optimizéry Exercise 8: Vyhodnocení modelu Exercise 9: Mizející a explodující gradienty Exercise 10: Inicializace a aktivační funkce Exercise 11: Aktivační funkce: ReLU vs. ELU

Aktuální cvičení

Exercise 12: Batch Normalization

Natrénuj neuronové sítě pro řešení úloh klasifikace obrázků. V této kapitole se naučíš, jak pracovat s obrazovými daty v PyTorchi, a důkladně se seznámíš s konvolučními neuronovými sítěmi (CNN). Budeš trénovat a vyhodnocovat klasifikátor obrázků a zároveň se dozvíš, jak zlepšit výkon modelu pomocí augmentace dat.

Exercise 1: Práce s obrázky v PyTorchi Exercise 2: Dataset obrázků Exercise 3: Augmentace dat Exercise 4: Augmentace dat v PyTorchi Exercise 5: Konvoluční neuronové sítě Exercise 6: Konvoluční vrstva Exercise 7: Sestavení konvolučních sítí Exercise 8: Trénování klasifikátorů obrázků Exercise 9: Výběr augmentací Exercise 10: Dataset s augmentacemi Exercise 11: Trénovací smyčka klasifikátoru obrázků Exercise 12: Vyhodnocování klasifikátorů obrázků Exercise 13: Vyhodnocení víceřídového modelu Exercise 14: Analýza metrik podle třídy

Sestav a natrénuj rekurentní neuronové sítě (RNN) pro zpracování sekvenčních dat, jako jsou časové řady, text nebo audio. Naučíš se o dvou nejpopulárnějších rekurentních architekturách – sítích Long Short-Term Memory (LSTM) a Gated Recurrent Unit (GRU) – a také o tom, jak sekvenční data připravit pro trénování modelu. Své dovednosti si procvičíš trénováním a vyhodnocováním rekurentního modelu pro předpověď spotřeby elektřiny.

Exercise 1: Zpracování sekvencí v PyTorchi Exercise 2: Generování sekvencí Exercise 3: Sekvenční dataset Exercise 4: Rekurentní neuronové sítě Exercise 5: Sekvenční architektury Exercise 6: Sestavení predikcí pomocí RNN Exercise 7: Buňky LSTM a GRU Exercise 8: RNN vs. LSTM vs. GRU Exercise 9: Síť LSTM Exercise 10: Síť GRU Exercise 11: Trénování a vyhodnocování RNN Exercise 12: Trénovací smyčka RNN Exercise 13: Vyhodnocení predikcí modelu

Sestav modely s více vstupy a více výstupy a uvidíš, jak zvládají úlohy vyžadující více než jeden vstup nebo generující více výstupů. Prozkoumáš, jak tyto modely navrhnout a natrénovat v PyTorchi, a ponoříš se do klíčového tématu vážení ztrát v modelech s více výstupy. To zahrnuje pochopení toho, jak vyvažovat důležitost různých úloh při trénování modelu, který plní více úloh současně.

Exercise 1: Modely s více vstupy Exercise 2: Dataset se dvěma vstupy Exercise 3: Model se dvěma vstupy Exercise 4: Trénování modelu se dvěma vstupy Exercise 5: Modely s více výstupy Exercise 6: Dataset a DataLoader se dvěma výstupy Exercise 7: Architektura modelu se dvěma výstupy Exercise 8: Trénování modelů s více výstupy Exercise 9: Vyhodnocení modelů s více výstupy a vážení ztrátové funkce Exercise 10: Vyhodnocení modelu s více výstupy Exercise 11: Vážení ztrát Exercise 12: Shrnutí