Набор данных PyTorch

Пора освежить знания о наборах данных PyTorch!

Прежде чем начать обучение модели, необходимо загрузить данные и передать их модели в нужном формате. В PyTorch для этого используются Dataset и DataLoader. Начнём с создания набора данных PyTorch для данных о качестве воды.

В этом упражнении вы определите класс WaterDataset для загрузки данных из CSV-файла. Для этого нужно реализовать три метода, которые PyTorch ожидает от набора данных:

.__init__() — для загрузки данных,
.__len__() — для возврата размера данных,
.__getitem__() — для извлечения признаков и метки одного примера.

Следующие импорты уже выполнены за вас:

import pandas as pd
from torch.utils.data import Dataset

Это упражнение является частью курса

Глубокое обучение на PyTorch: средний уровень

Посмотреть курс

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

class WaterDataset(Dataset):
    def __init__(self, csv_path):
        super().__init__()
        # Load data to pandas DataFrame
        df = ____
        # Convert data to a NumPy array and assign to self.data
        ____ = ____.____

Редактировать и запускать код

Это упражнение является частью курса

Глубокое обучение на PyTorch: средний уровень

SkillTag.level.intermediateSkillTag.label

4.8+

Начать курс бесплатно

Научитесь обучать нейронные сети надёжными методами. В этой главе вы будете использовать объектно-ориентированное программирование для определения наборов данных и моделей в PyTorch, а также освежите знания об обучении и оценке нейронных сетей. Вы познакомитесь с различными оптимизаторами и освоите техники, которые помогают справляться с проблемой нестабильных градиентов — одной из самых распространённых трудностей при обучении нейронных сетей.

Exercise 1: PyTorch и объектно-ориентированное программирование Exercise 2: Набор данных PyTorch

Текущее упражнение

Exercise 3: DataLoader в PyTorch Exercise 4: Модель PyTorch Exercise 5: Оптимизаторы, обучение и оценка модели Exercise 6: Цикл обучения Exercise 7: Оптимизаторы Exercise 8: Оценка модели Exercise 9: Затухающие и взрывные градиенты Exercise 10: Инициализация и функции активации Exercise 11: Функции активации: ReLU и ELU Exercise 12: Пакетная нормализация

Обучите нейронные сети решать задачи классификации изображений. В этой главе вы узнаете, как работать с изображениями в PyTorch, и освоите сверточные нейронные сети (CNN). Вы будете практиковаться в обучении и оценке классификатора изображений, а также узнаете, как улучшить качество модели с помощью аугментации данных.

Exercise 1: Работа с изображениями в PyTorch Exercise 2: Набор данных изображений Exercise 3: Аугментация данных Exercise 4: Аугментация данных в PyTorch Exercise 5: Свёрточные нейронные сети Exercise 6: Свёрточный слой Exercise 7: Построение свёрточных сетей Exercise 8: Обучение классификаторов изображений Exercise 9: Выбор методов аугментации Exercise 10: Набор данных с аугментациями Exercise 11: Цикл обучения классификатора изображений Exercise 12: Оценка качества классификаторов изображений Exercise 13: Оценка многоклассовой модели Exercise 14: Анализ метрик по классам

Создайте и обучите рекуррентные нейронные сети (RNN) для обработки последовательных данных — временных рядов, текстов или аудио. Вы изучите две наиболее популярные рекуррентные архитектуры: сети с долгой краткосрочной памятью (LSTM) и управляемые рекуррентные блоки (GRU), а также научитесь подготавливать последовательные данные для обучения моделей. Полученные навыки вы закрепите, обучив и оценив рекуррентную модель для прогнозирования потребления электроэнергии.

Exercise 1: Работа с последовательностями в PyTorch Exercise 2: Генерация последовательностей Exercise 3: Последовательный набор данных Exercise 4: Рекуррентные нейронные сети Exercise 5: Архитектуры для последовательных данных Exercise 6: Построение прогнозирующей РНС Exercise 7: Ячейки LSTM и GRU Exercise 8: RNN, LSTM и GRU: сравнение Exercise 9: Сеть LSTM Exercise 10: Сеть GRU Exercise 11: Обучение и оценка рекуррентных нейронных сетей Exercise 12: Цикл обучения RNN Exercise 13: Оценка моделей прогнозирования

Создайте модели с несколькими входами и несколькими выходами, которые справляются с задачами, требующими более одного входа или генерирующими несколько выходов. Вы изучите, как проектировать и обучать такие модели в PyTorch, а также подробно разберёте важную тему взвешивания функций потерь в моделях с несколькими выходами. Это предполагает понимание того, как балансировать значимость различных задач при одновременном обучении модели нескольким из них.

Exercise 1: Модели с несколькими входами Exercise 2: Набор данных с двумя входами Exercise 3: Модель с двумя входами Exercise 4: Обучение модели с двумя входами Exercise 5: Модели с несколькими выходами Exercise 6: Набор данных и DataLoader с двумя выходами Exercise 7: Архитектура модели с двумя выходами Exercise 8: Обучение моделей с несколькими выходами Exercise 9: Оценка моделей с несколькими выходами и взвешивание потерь Exercise 10: Оценка модели с несколькими выходами Exercise 11: Взвешивание функции потерь Exercise 12: Подведение итогов