Experimentování s momentem

V tomto cvičení je tvým cílem najít optimální hodnotu momentu tak, aby optimalizátor dokázal ve 20 krocích nalézt minimum následující nekonvexní funkce \(x^{4} + x^{3} - 5x^{2}\). Vyzkoušíš dvě různé hodnoty momentu. Rychlost učení je v tomto případě pevně nastavena na 0,01.

Máš k dispozici funkci optimize_and_plot(), která přijímá jako vstup parametr momentum. Tato funkce spustí 20 kroků SGD optimalizátoru a zobrazí výsledky.

Toto cvičení je součástí kurzu

Introduction to Deep Learning with PyTorch

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Try a first value for momentum
mom0 = ____
optimize_and_plot(momentum=mom0)

Upravit a spustit kód

Toto cvičení je součástí kurzu

Introduction to Deep Learning with PyTorch

SkillTag.level.intermediateSkillTag.label

4.8+

Začněte kurz zdarma

Autonomní vozidla, chytré telefony, vyhledávače… Hluboké učení je dnes všude. Než začneš stavět složité modely, seznámíš se s PyTorch, frameworkem pro hluboké učení. Naučíš se pracovat s tenzory, vytvářet datové struktury v PyTorch a sestavíš svoji první neuronovou síť s lineárními vrstvami.

Exercise 1: Úvod do deep learningu s PyTorchem Exercise 2: První kroky s PyTorch tensory Exercise 3: Kontrola a sčítání tenzorů Exercise 4: Neuronové sítě a vrstvy Exercise 5: Síť s lineární vrstvou Exercise 6: Pochopení vah Exercise 7: Skryté vrstvy a parametry Exercise 8: Tvá první neuronová síť Exercise 9: Skládání lineárních vrstev Exercise 10: Počítání počtu parametrů

Než začneš trénovat neuronovou síť v PyTorch, musíš se seznámit s dalšími stavebními kameny – aktivačními funkcemi a ztrátovými funkcemi. Zjistíš, že trénování sítě spočívá v minimalizaci ztrátové funkce, k níž slouží výpočet gradientů. Naučíš se, jak tyto gradienty využít k aktualizaci parametrů modelu.

Exercise 1: Aktivační funkce Exercise 2: Prověř své znalosti!Exercise 3: Funkce sigmoid a softmax Exercise 4: Dopředný průchod sítí Exercise 5: Vytvoření binárního klasifikátoru v PyTorch Exercise 6: Od regrese k vícetřídní klasifikaci Exercise 7: Hodnocení predikcí modelu pomocí ztrátových funkcí Exercise 8: Vytvoření one-hot zakódovaných labelů Exercise 9: Výpočet cross-entropy loss Exercise 10: Použití derivací k aktualizaci parametrů modelu Exercise 11: Přístup k parametrům modelu Exercise 12: Ruční aktualizace vah Exercise 13: Použití optimalizátoru PyTorch

Teď, když znáš klíčové součásti neuronové sítě, je čas ji skutečně natrénovat pomocí trénovací smyčky. Prozkoumáš potenciální problémy, jako je mizení gradientů, a naučíš se strategie, jak je řešit – například alternativní aktivační funkce nebo ladění rychlosti učení a hybnosti.

Exercise 1: Načítání dat do hloubky Exercise 2: Použití TensorDataset Exercise 3: Použití DataLoaderu Exercise 4: Píšeme náš první trénovací cyklus Exercise 5: Použití MSELoss Exercise 6: Psaní trénovací smyčky Exercise 7: Aktivační funkce ReLU Exercise 8: Implementace ReLU Exercise 9: Implementace leaky ReLU Exercise 10: Porozumění aktivačním funkcím Exercise 11: Learning rate a momentum Exercise 12: Experimentování s learning rate Exercise 13: Experimentování s momentem

Aktuální cvičení

Trénování modelu hlubokého učení je svým způsobem umění. Abychom se ujistili, že model trénujeme správně, musíme během trénování sledovat určité metriky, jako je ztrátová funkce nebo přesnost. Naučíš se, jak tyto metriky počítat a jak zamezit přetrénování modelu.

Exercise 1: Inicializace vrstev a transfer learning Exercise 2: Proces fine-tuningu Exercise 3: Zmrazení vrstev modelu Exercise 4: Inicializace vrstev Exercise 5: Vyhodnocení výkonu modelu Exercise 6: Psaní evaluačního cyklu Exercise 7: Výpočet přesnosti pomocí torchmetrics Exercise 8: Boj s přeučením Exercise 9: Experimentování s dropoutem Exercise 10: Porozumění přetrénování Exercise 11: Zlepšování výkonu modelu Exercise 12: Implementace náhodného prohledávání Exercise 13: Závěrečné video