НачатьНачать бесплатно

Построение модели RNN для работы с текстом

Как аналитик данных в PyBooks, вы регулярно работаете с наборами данных, содержащими последовательную информацию: историю взаимодействий с клиентами, временные ряды или текстовые документы. Рекуррентные нейронные сети (RNN) эффективно справляются с анализом таких данных и извлечением из них полезных сведений. В этом упражнении вы будете работать с набором данных Newsgroup, который уже прошёл предобработку и кодирование. Он содержит статьи из различных категорий. Ваша задача — применить RNN для классификации этих статей по трём категориям:

rec.autos, sci.med и comp.graphics.

Для вас уже загружены: torch, nn, optim.

Также заранее определены параметры: input_size, hidden_size (32), num_layers (2) и num_classes.

В этом и следующих упражнениях используется набор данных fetch_20newsgroups из библиотеки sklearn.

Это упражнение является частью курса

Глубокое обучение для работы с текстом на PyTorch

Посмотреть курс

Инструкции к упражнению

  • Дополните класс RNN: добавьте рекуррентный слой и полносвязный линейный слой.
  • Инициализируйте модель.
  • Обучите модель RNN в течение десяти эпох, обнуляя градиенты на каждой итерации.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Complete the RNN class
class RNNModel(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers, num_classes):
        super(RNNModel, self).__init__()
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        self.rnn = ____.____(input_size, hidden_size, num_layers, batch_first=True)
        self.fc = ____.____(hidden_size, num_classes)        
    def forward(self, x):
        h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size)
        out, _ = self.rnn(x, h0)
        out = out[:, -1, :] 
        out = self.fc(out)
        return out

# Initialize the model
rnn_model = ____(input_size, hidden_size, num_layers, num_classes)
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(rnn_model.parameters(), lr=0.01)

# Train the model for ten epochs and zero the gradients
for epoch in ____: 
    optimizer.____()
    outputs = ____(X_train_seq)
    loss = criterion(outputs, y_train_seq)
    loss.backward()
    optimizer.step()
    print(f'Epoch: {epoch+1}, Loss: {loss.item()}')
Редактировать и запускать код