PyTorch DataLoader

Świetna robota z definicją klasy Dataset! Utworzony przez ciebie WaterDataset jest już gotowy do użycia.

Kolejnym krokiem w przygotowaniu danych treningowych jest skonfigurowanie DataLoader. PyTorchowy DataLoader można utworzyć na podstawie Dataset, aby wczytywać dane, dzielić je na partie (ang. batches) i w razie potrzeby stosować przekształcenia. Następnie generuje on próbki danych gotowe do trenowania.

W tym ćwiczeniu zbudujesz DataLoader oparty na WaterDataset. Klasa DataLoader, której będziesz potrzebować, została już zaimportowana z torch.utils.data. Do dzieła!

To ćwiczenie jest częścią kursu

Głębokie uczenie z PyTorch – poziom średnio zaawansowany

Instrukcje do ćwiczenia

Utwórz instancję WaterDataset na podstawie pliku water_train.csv i przypisz ją do zmiennej dataset_train.
Utwórz dataloader_train na podstawie dataset_train, używając rozmiaru partii równego dwa i włączając losowe mieszanie próbek.
Pobierz partię cech i etykiet z DataLoadera i wyświetl je.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Create an instance of the WaterDataset
dataset_train = ____(____)

# Create a DataLoader based on dataset_train
dataloader_train = ____(
    ____,
    batch_size=____,
    shuffle=____,
)

# Get a batch of features and labels
features, labels = ____
print(features, labels)

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Głębokie uczenie z PyTorch – poziom średnio zaawansowany

SkillTag.level.intermediateSkillTag.label

4.8+

Rozpocznij kurs za darmo

Naucz się trenować sieci neuronowe w solidny i niezawodny sposób. W tym rozdziale wykorzystasz programowanie obiektowe do definiowania zbiorów danych i modeli w PyTorch oraz odświeżysz wiedzę na temat trenowania i oceny sieci neuronowych. Zapoznasz się też z różnymi optymalizatorami, a na koniec poznasz techniki pozwalające radzić sobie z problemem niestabilnych gradientów – zjawiskiem powszechnym podczas trenowania sieci neuronowych.

Exercise 1: PyTorch i programowanie obiektowe Exercise 2: Zbiór danych PyTorch Exercise 3: PyTorch DataLoader

Bieżące ćwiczenie

Exercise 4: Model PyTorch Exercise 5: Optymalizatory, trening i ewaluacja Exercise 6: Pętla treningowa Exercise 7: Optymalizatory Exercise 8: Ewaluacja modelu Exercise 9: Znikające i eksplodujące gradienty Exercise 10: Inicjalizacja i aktywacje Exercise 11: Funkcje aktywacji: ReLU a ELU Exercise 12: Normalizacja wsadowa

Trenuj sieci neuronowe do rozwiązywania zadań klasyfikacji obrazów. W tym rozdziale nauczysz się pracować z danymi obrazowymi w PyTorch i poznasz konwolucyjne sieci neuronowe (CNN). Przećwiczysz trenowanie i ocenę klasyfikatora obrazów, a także dowiesz się, jak poprawić wydajność modelu dzięki augmentacji danych.

Exercise 1: Praca z obrazami w PyTorch Exercise 2: Zbiór danych z obrazami Exercise 3: Augmentacja danych Exercise 4: Augmentacja danych w PyTorch Exercise 5: Konwolucyjne sieci neuronowe Exercise 6: Warstwa konwolucyjna Exercise 7: Budowanie sieci splotowych Exercise 8: Trenowanie klasyfikatorów obrazów Exercise 9: Wybór augmentacji Exercise 10: Zbiór danych z augmentacjami Exercise 11: Pętla treningowa klasyfikatora obrazów Exercise 12: Ocena klasyfikatorów obrazów Exercise 13: Ocena modelu wieloklasowego Exercise 14: Analiza metryk dla poszczególnych klas

Buduj i trenuj rekurencyjne sieci neuronowe (RNN) do przetwarzania danych sekwencyjnych, takich jak szeregi czasowe, tekst czy audio. Poznasz dwie najpopularniejsze architektury rekurencyjne – sieci Long Short-Term Memory (LSTM) i Gated Recurrent Unit (GRU) – oraz nauczysz się przygotowywać dane sekwencyjne do trenowania modeli. Przećwiczysz zdobyte umiejętności, trenując i oceniając model rekurencyjny do przewidywania zużycia energii elektrycznej.

Exercise 1: Obsługa sekwencji w PyTorch Exercise 2: Generowanie sekwencji Exercise 3: Sekwencyjny zbiór danych Exercise 4: Rekurencyjne sieci neuronowe Exercise 5: Architektury sekwencyjne Exercise 6: Budowanie prognozującej sieci RNN Exercise 7: Komórki LSTM i GRU Exercise 8: RNN vs. LSTM vs. GRU Exercise 9: Sieć LSTM Exercise 10: Sieć GRU Exercise 11: Trenowanie i ewaluacja RNN Exercise 12: Pętla treningowa RNN Exercise 13: Ocena modeli prognozowania

Buduj modele wielowejściowe i wielowyjściowe, które potrafią obsługiwać zadania wymagające więcej niż jednego wejścia lub generujące wiele wyjść. Dowiesz się, jak projektować i trenować takie modele w PyTorch, a także zgłębisz kluczowy temat ważenia straty w modelach wielowyjściowych. Zrozumiesz, jak balansować znaczenie poszczególnych zadań podczas trenowania modelu wykonującego wiele zadań jednocześnie.

Exercise 1: Modele wielowejściowe Exercise 2: Zbiór danych z dwoma wejściami Exercise 3: Model z dwoma wejściami Exercise 4: Trenowanie modelu z dwoma wejściami Exercise 5: Modele wielowyjściowe Exercise 6: Zbiór danych i DataLoader z dwoma wynikami Exercise 7: Architektura modelu z dwoma wyjściami Exercise 8: Trenowanie modeli wielowyjściowych Exercise 9: Ocena modeli wielowyjściowych i ważenie funkcji straty Exercise 10: Ewaluacja modelu wielowyjściowego Exercise 11: Ważenie straty Exercise 12: Podsumowanie