Inicializace vrstev

Inicializace vah neuronové sítě je tématem, kterým se výzkumníci zabývají už mnoho let. Při trénování sítě má zvolená metoda inicializace vah přímý vliv na výsledný výkon modelu.

Jako praktik v oblasti strojového učení bys měl/a umět experimentovat s různými inicializačními strategiemi. V tomto cvičení vytváříš malou neuronovou síť složenou ze dvou vrstev a rozhoduješ se inicializovat váhy každé vrstvy pomocí uniformní metody.

Toto cvičení je součástí kurzu

Introduction to Deep Learning with PyTorch

Pokyny k cvičení

Pro každou vrstvu (layer0 a layer1) inicializuj váhy pomocí uniformní inicializační metody.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

layer0 = nn.Linear(16, 32)
layer1 = nn.Linear(32, 64)

# Use uniform initialization for layer0 and layer1 weights
nn.____.____(____)
nn.____.____(____)

model = nn.Sequential(layer0, layer1)

Upravit a spustit kód

Toto cvičení je součástí kurzu

Introduction to Deep Learning with PyTorch

SkillTag.level.intermediateSkillTag.label

4.8+

Začněte kurz zdarma

Autonomní vozidla, chytré telefony, vyhledávače… Hluboké učení je dnes všude. Než začneš stavět složité modely, seznámíš se s PyTorch, frameworkem pro hluboké učení. Naučíš se pracovat s tenzory, vytvářet datové struktury v PyTorch a sestavíš svoji první neuronovou síť s lineárními vrstvami.

Exercise 1: Úvod do deep learningu s PyTorchem Exercise 2: První kroky s PyTorch tensory Exercise 3: Kontrola a sčítání tenzorů Exercise 4: Neuronové sítě a vrstvy Exercise 5: Síť s lineární vrstvou Exercise 6: Pochopení vah Exercise 7: Skryté vrstvy a parametry Exercise 8: Tvá první neuronová síť Exercise 9: Skládání lineárních vrstev Exercise 10: Počítání počtu parametrů

Než začneš trénovat neuronovou síť v PyTorch, musíš se seznámit s dalšími stavebními kameny – aktivačními funkcemi a ztrátovými funkcemi. Zjistíš, že trénování sítě spočívá v minimalizaci ztrátové funkce, k níž slouží výpočet gradientů. Naučíš se, jak tyto gradienty využít k aktualizaci parametrů modelu.

Exercise 1: Aktivační funkce Exercise 2: Prověř své znalosti!Exercise 3: Funkce sigmoid a softmax Exercise 4: Dopředný průchod sítí Exercise 5: Vytvoření binárního klasifikátoru v PyTorch Exercise 6: Od regrese k vícetřídní klasifikaci Exercise 7: Hodnocení predikcí modelu pomocí ztrátových funkcí Exercise 8: Vytvoření one-hot zakódovaných labelů Exercise 9: Výpočet cross-entropy loss Exercise 10: Použití derivací k aktualizaci parametrů modelu Exercise 11: Přístup k parametrům modelu Exercise 12: Ruční aktualizace vah Exercise 13: Použití optimalizátoru PyTorch

Teď, když znáš klíčové součásti neuronové sítě, je čas ji skutečně natrénovat pomocí trénovací smyčky. Prozkoumáš potenciální problémy, jako je mizení gradientů, a naučíš se strategie, jak je řešit – například alternativní aktivační funkce nebo ladění rychlosti učení a hybnosti.

Exercise 1: Načítání dat do hloubky Exercise 2: Použití TensorDataset Exercise 3: Použití DataLoaderu Exercise 4: Píšeme náš první trénovací cyklus Exercise 5: Použití MSELoss Exercise 6: Psaní trénovací smyčky Exercise 7: Aktivační funkce ReLU Exercise 8: Implementace ReLU Exercise 9: Implementace leaky ReLU Exercise 10: Porozumění aktivačním funkcím Exercise 11: Learning rate a momentum Exercise 12: Experimentování s learning rate Exercise 13: Experimentování s momentem

Trénování modelu hlubokého učení je svým způsobem umění. Abychom se ujistili, že model trénujeme správně, musíme během trénování sledovat určité metriky, jako je ztrátová funkce nebo přesnost. Naučíš se, jak tyto metriky počítat a jak zamezit přetrénování modelu.

Exercise 1: Inicializace vrstev a transfer learning Exercise 2: Proces fine-tuningu Exercise 3: Zmrazení vrstev modelu Exercise 4: Inicializace vrstev

Aktuální cvičení

Exercise 5: Vyhodnocení výkonu modelu Exercise 6: Psaní evaluačního cyklu Exercise 7: Výpočet přesnosti pomocí torchmetrics Exercise 8: Boj s přeučením Exercise 9: Experimentování s dropoutem Exercise 10: Porozumění přetrénování Exercise 11: Zlepšování výkonu modelu Exercise 12: Implementace náhodného prohledávání Exercise 13: Závěrečné video