НачатьНачать бесплатно

Создание модели GRU для работы с текстом

В команде PyBooks высоко оценили результаты двух ранее обученных моделей. Однако в стремлении к наилучшему результату коллеги хотят убедиться, что для решения задачи выбрана оптимальная модель. Поэтому вам предлагается расширить проект и исследовать возможности моделей GRU, которые известны своей эффективностью в задачах классификации текстов. Ваша новая задача — применить модель GRU для классификации статей из набора данных Newsgroup по следующим категориям:

rec.autos, sci.med и comp.graphics.

Для вас уже загружены следующие пакеты: torch, nn, optim.

Это упражнение является частью курса

Глубокое обучение для работы с текстом на PyTorch

Посмотреть курс

Инструкции к упражнению

  • Заполните класс GRU, указав необходимые параметры.
  • Инициализируйте модель с теми же параметрами.
  • Обучите модель: передайте параметры в функцию потерь и выполните обратное распространение ошибки.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Complete the GRU model
class GRUModel(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers, num_classes):
        super(GRUModel, self).__init__()
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        self.gru = ____
        self.fc = nn.Linear(hidden_size, num_classes)       
    def forward(self, x):
        h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size) 
        out, _ = self.gru(x, h0)
        out = out[:, -1, :] 
        out = self.fc(out)
        return out

# Initialize the model
gru_model = ____
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(gru_model.parameters(), lr=0.01)

# Train the model and backpropagate the loss after initialization
for epoch in range(15): 
    optimizer.zero_grad()
    outputs = ____
    loss = criterion(____, y_train_seq)
    ____
    optimizer.step()
    print(f'Epoch: {epoch+1}, Loss: {loss.item()}')
Редактировать и запускать код