Zliczanie liczby parametrów

Modele uczenia głębokiego słyną z posiadania ogromnej liczby parametrów. Im więcej parametrów, tym większa złożoność obliczeniowa i dłuższy czas trenowania – dlatego każdy praktyk uczenia głębokiego powinien wiedzieć, ile parametrów ma jego model.

W tym ćwiczeniu najpierw ręcznie obliczysz liczbę parametrów. Następnie zweryfikujesz wynik za pomocą metody .numel().

To ćwiczenie jest częścią kursu

Wprowadzenie do uczenia głębokiego z PyTorch

Interaktywne ćwiczenie praktyczne

Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń

Rozpocznij ćwiczenie

To ćwiczenie jest częścią kursu

Wprowadzenie do uczenia głębokiego z PyTorch

SkillTag.level.intermediateSkillTag.label

4.8+

Rozpocznij kurs za darmo

Samochody autonomiczne, smartfony, wyszukiwarki… Uczenie głębokie jest dziś wszędzie. Zanim zaczniesz budować złożone modele, zapoznasz się z PyTorch – frameworkiem do uczenia głębokiego. Nauczysz się operować na tensorach, tworzyć struktury danych w PyTorch oraz zbudujesz swoją pierwszą sieć neuronową z warstwami liniowymi.

Exercise 1: Wprowadzenie do uczenia głębokiego z PyTorch Exercise 2: Pierwsze kroki z tensorami PyTorch Exercise 3: Sprawdzanie i dodawanie tensorów Exercise 4: Sieci neuronowe i warstwy Exercise 5: Sieć z warstwą liniową Exercise 6: Zrozumienie wag Exercise 7: Ukryte warstwy i parametry Exercise 8: Twoja pierwsza sieć neuronowa Exercise 9: Układanie warstw liniowych Exercise 10: Zliczanie liczby parametrów

Bieżące ćwiczenie

Aby trenować sieć neuronową w PyTorch, musisz najpierw poznać dodatkowe elementy – takie jak funkcje aktywacji i funkcje straty. Przekonasz się, że trenowanie sieci polega na minimalizowaniu funkcji straty, co wymaga obliczania gradientów. Nauczysz się, jak używać tych gradientów do aktualizowania parametrów modelu.

Exercise 1: Odkrywanie funkcji aktywacji Exercise 2: Sprawdź swoją wiedzę!Exercise 3: Funkcje sigmoid i softmax Exercise 4: Uruchamianie przejścia w przód Exercise 5: Budowanie klasyfikatora binarnego w PyTorch Exercise 6: Od regresji do klasyfikacji wieloklasowej Exercise 7: Ocena przewidywań modelu za pomocą funkcji straty Exercise 8: Tworzenie etykiet zakodowanych metodą one-hot Exercise 9: Obliczanie straty krzyżowej entropii Exercise 10: Używanie pochodnych do aktualizacji parametrów modelu Exercise 11: Dostęp do parametrów modelu Exercise 12: Ręczna aktualizacja wag Exercise 13: Korzystanie z optymalizatora PyTorch

Znasz już kluczowe elementy sieci neuronowej – czas nauczyć się jej trenowania za pomocą pętli treningowej. Przyjrzysz się potencjalnym problemom, takim jak zanikający gradient, oraz strategiom ich rozwiązywania – alternatywnym funkcjom aktywacji, dostrajaniu współczynnika uczenia i momentum.

Exercise 1: Ładowanie danych – głębsze spojrzenie Exercise 2: Korzystanie z TensorDataset Exercise 3: Używanie DataLoadera Exercise 4: Piszemy pierwszą pętlę treningową Exercise 5: Użycie funkcji MSELoss Exercise 6: Pisanie pętli treningowej Exercise 7: Funkcje aktywacji ReLU Exercise 8: Implementacja ReLU Exercise 9: Implementacja nieszczelnego ReLU Exercise 10: Funkcje aktywacji – sprawdź swoją wiedzę Exercise 11: Współczynnik uczenia i momentum Exercise 12: Eksperymenty ze współczynnikiem uczenia Exercise 13: Eksperymenty z momentum

Trenowanie modelu głębokiego uczenia to prawdziwa sztuka. Aby mieć pewność, że model jest trenowany poprawnie, trzeba śledzić określone metryki podczas treningu – takie jak strata czy dokładność. Nauczysz się obliczać te metryki i ograniczać przeuczenie.

Exercise 1: Inicjalizacja warstw i transfer uczenia Exercise 2: Proces dostrajania modelu Exercise 3: Zamrażanie warstw modelu Exercise 4: Inicjalizacja warstw Exercise 5: Ocena wydajności modelu Exercise 6: Pisanie pętli ewaluacyjnej Exercise 7: Obliczanie dokładności za pomocą torchmetrics Exercise 8: Walka z przeuczeniem Exercise 9: Eksperymenty z dropout Exercise 10: Rozumienie przetrenowania Exercise 11: Poprawa wydajności modelu Exercise 12: Implementacja przeszukiwania losowego Exercise 13: Podsumowanie