Funkcje aktywacji: ReLU a ELU

Wybór funkcji aktywacji w modelu (w połączeniu z odpowiednią inicjalizacją wag) może mieć istotny wpływ na proces trenowania. Właściwa funkcja aktywacji potrafi uchronić sieć przed problemem niestabilnych gradientów.

W poprzednim ćwiczeniu zamieniono aktywacje ReLU na ELU. Czy pamiętasz, jakie właściwości tych dwóch funkcji uzasadniają tę zmianę?

To ćwiczenie jest częścią kursu

Głębokie uczenie z PyTorch – poziom średnio zaawansowany

Zobacz kurs

Interaktywne ćwiczenie praktyczne

Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń

Rozpocznij ćwiczenie

To ćwiczenie jest częścią kursu

Głębokie uczenie z PyTorch – poziom średnio zaawansowany

SkillTag.level.intermediateSkillTag.label

4.8+

2168 reviews

Rozpocznij kurs za darmo

Naucz się trenować sieci neuronowe w solidny i niezawodny sposób. W tym rozdziale wykorzystasz programowanie obiektowe do definiowania zbiorów danych i modeli w PyTorch oraz odświeżysz wiedzę na temat trenowania i oceny sieci neuronowych. Zapoznasz się też z różnymi optymalizatorami, a na koniec poznasz techniki pozwalające radzić sobie z problemem niestabilnych gradientów – zjawiskiem powszechnym podczas trenowania sieci neuronowych.

Exercise 1: PyTorch i programowanie obiektowe Exercise 2: Zbiór danych PyTorch Exercise 3: PyTorch DataLoader Exercise 4: Model PyTorch Exercise 5: Optymalizatory, trening i ewaluacja Exercise 6: Pętla treningowa Exercise 7: Optymalizatory Exercise 8: Ewaluacja modelu Exercise 9: Znikające i eksplodujące gradienty Exercise 10: Inicjalizacja i aktywacje Exercise 11: Funkcje aktywacji: ReLU a ELU

Bieżące ćwiczenie

Exercise 12: Normalizacja wsadowa

Trenuj sieci neuronowe do rozwiązywania zadań klasyfikacji obrazów. W tym rozdziale nauczysz się pracować z danymi obrazowymi w PyTorch i poznasz konwolucyjne sieci neuronowe (CNN). Przećwiczysz trenowanie i ocenę klasyfikatora obrazów, a także dowiesz się, jak poprawić wydajność modelu dzięki augmentacji danych.

Exercise 1: Praca z obrazami w PyTorch Exercise 2: Zbiór danych z obrazami Exercise 3: Augmentacja danych Exercise 4: Augmentacja danych w PyTorch Exercise 5: Konwolucyjne sieci neuronowe Exercise 6: Warstwa konwolucyjna Exercise 7: Budowanie sieci splotowych Exercise 8: Trenowanie klasyfikatorów obrazów Exercise 9: Wybór augmentacji Exercise 10: Zbiór danych z augmentacjami Exercise 11: Pętla treningowa klasyfikatora obrazów Exercise 12: Ocena klasyfikatorów obrazów Exercise 13: Ocena modelu wieloklasowego Exercise 14: Analiza metryk dla poszczególnych klas

Buduj i trenuj rekurencyjne sieci neuronowe (RNN) do przetwarzania danych sekwencyjnych, takich jak szeregi czasowe, tekst czy audio. Poznasz dwie najpopularniejsze architektury rekurencyjne – sieci Long Short-Term Memory (LSTM) i Gated Recurrent Unit (GRU) – oraz nauczysz się przygotowywać dane sekwencyjne do trenowania modeli. Przećwiczysz zdobyte umiejętności, trenując i oceniając model rekurencyjny do przewidywania zużycia energii elektrycznej.

Exercise 1: Obsługa sekwencji w PyTorch Exercise 2: Generowanie sekwencji Exercise 3: Sekwencyjny zbiór danych Exercise 4: Rekurencyjne sieci neuronowe Exercise 5: Architektury sekwencyjne Exercise 6: Budowanie prognozującej sieci RNN Exercise 7: Komórki LSTM i GRU Exercise 8: RNN vs. LSTM vs. GRU Exercise 9: Sieć LSTM Exercise 10: Sieć GRU Exercise 11: Trenowanie i ewaluacja RNN Exercise 12: Pętla treningowa RNN Exercise 13: Ocena modeli prognozowania

Buduj modele wielowejściowe i wielowyjściowe, które potrafią obsługiwać zadania wymagające więcej niż jednego wejścia lub generujące wiele wyjść. Dowiesz się, jak projektować i trenować takie modele w PyTorch, a także zgłębisz kluczowy temat ważenia straty w modelach wielowyjściowych. Zrozumiesz, jak balansować znaczenie poszczególnych zadań podczas trenowania modelu wykonującego wiele zadań jednocześnie.

Exercise 1: Modele wielowejściowe Exercise 2: Zbiór danych z dwoma wejściami Exercise 3: Model z dwoma wejściami Exercise 4: Trenowanie modelu z dwoma wejściami Exercise 5: Modele wielowyjściowe Exercise 6: Zbiór danych i DataLoader z dwoma wynikami Exercise 7: Architektura modelu z dwoma wyjściami Exercise 8: Trenowanie modeli wielowyjściowych Exercise 9: Ocena modeli wielowyjściowych i ważenie funkcji straty Exercise 10: Ewaluacja modelu wielowyjściowego Exercise 11: Ważenie straty Exercise 12: Podsumowanie