Implementace ReLU

Rectified Linear Unit (ReLU) je široce používaná aktivační funkce v deep learningu, která řeší problémy jako vanishing gradients.

V tomto cvičení implementuješ ReLU v PyTorchi, aplikuješ ji na kladné i záporné hodnoty a podíváš se na výsledky.

Balíček torch.nn je už naimportovaný jako nn.

Toto cvičení je součástí kurzu

Introduction to Deep Learning with PyTorch

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Create a ReLU function with PyTorch
relu_pytorch = ____

Upravit a spustit kód

Toto cvičení je součástí kurzu

Introduction to Deep Learning with PyTorch

SkillTag.level.intermediateSkillTag.label

4.8+

Začněte kurz zdarma

Autonomní vozidla, chytré telefony, vyhledávače… Hluboké učení je dnes všude. Než začneš stavět složité modely, seznámíš se s PyTorch, frameworkem pro hluboké učení. Naučíš se pracovat s tenzory, vytvářet datové struktury v PyTorch a sestavíš svoji první neuronovou síť s lineárními vrstvami.

Exercise 1: Úvod do deep learningu s PyTorchem Exercise 2: První kroky s PyTorch tensory Exercise 3: Kontrola a sčítání tenzorů Exercise 4: Neuronové sítě a vrstvy Exercise 5: Síť s lineární vrstvou Exercise 6: Pochopení vah Exercise 7: Skryté vrstvy a parametry Exercise 8: Tvá první neuronová síť Exercise 9: Skládání lineárních vrstev Exercise 10: Počítání počtu parametrů

Než začneš trénovat neuronovou síť v PyTorch, musíš se seznámit s dalšími stavebními kameny – aktivačními funkcemi a ztrátovými funkcemi. Zjistíš, že trénování sítě spočívá v minimalizaci ztrátové funkce, k níž slouží výpočet gradientů. Naučíš se, jak tyto gradienty využít k aktualizaci parametrů modelu.

Exercise 1: Aktivační funkce Exercise 2: Prověř své znalosti!Exercise 3: Funkce sigmoid a softmax Exercise 4: Dopředný průchod sítí Exercise 5: Vytvoření binárního klasifikátoru v PyTorch Exercise 6: Od regrese k vícetřídní klasifikaci Exercise 7: Hodnocení predikcí modelu pomocí ztrátových funkcí Exercise 8: Vytvoření one-hot zakódovaných labelů Exercise 9: Výpočet cross-entropy loss Exercise 10: Použití derivací k aktualizaci parametrů modelu Exercise 11: Přístup k parametrům modelu Exercise 12: Ruční aktualizace vah Exercise 13: Použití optimalizátoru PyTorch

Teď, když znáš klíčové součásti neuronové sítě, je čas ji skutečně natrénovat pomocí trénovací smyčky. Prozkoumáš potenciální problémy, jako je mizení gradientů, a naučíš se strategie, jak je řešit – například alternativní aktivační funkce nebo ladění rychlosti učení a hybnosti.

Exercise 1: Načítání dat do hloubky Exercise 2: Použití TensorDataset Exercise 3: Použití DataLoaderu Exercise 4: Píšeme náš první trénovací cyklus Exercise 5: Použití MSELoss Exercise 6: Psaní trénovací smyčky Exercise 7: Aktivační funkce ReLU Exercise 8: Implementace ReLU

Aktuální cvičení

Exercise 9: Implementace leaky ReLU Exercise 10: Porozumění aktivačním funkcím Exercise 11: Learning rate a momentum Exercise 12: Experimentování s learning rate Exercise 13: Experimentování s momentem

Trénování modelu hlubokého učení je svým způsobem umění. Abychom se ujistili, že model trénujeme správně, musíme během trénování sledovat určité metriky, jako je ztrátová funkce nebo přesnost. Naučíš se, jak tyto metriky počítat a jak zamezit přetrénování modelu.

Exercise 1: Inicializace vrstev a transfer learning Exercise 2: Proces fine-tuningu Exercise 3: Zmrazení vrstev modelu Exercise 4: Inicializace vrstev Exercise 5: Vyhodnocení výkonu modelu Exercise 6: Psaní evaluačního cyklu Exercise 7: Výpočet přesnosti pomocí torchmetrics Exercise 8: Boj s přeučením Exercise 9: Experimentování s dropoutem Exercise 10: Porozumění přetrénování Exercise 11: Zlepšování výkonu modelu Exercise 12: Implementace náhodného prohledávání Exercise 13: Závěrečné video