ПочатиПочніть безкоштовно

Створення моделі LSTM для тексту

У PyBooks команда постійно прагне покращити користувацький досвід, використовуючи найновіші технології. У межах цього підходу вам доручили важливе завдання. Команда хоче, щоб ви дослідили потенціал ще одного потужного інструменту — LSTM, який добре вловлює складніші закономірності в даних. Ви працюєте з тим самим набором даних Newsgroup, і мета незмінна: класифікувати новинні статті на три окремі категорії:

rec.autos, sci.med та comp.graphics.

Наступні пакети вже завантажено для вас: torch, nn, optim.

Ця вправа є частиною курсу

Глибоке навчання для тексту з PyTorch

Переглянути курс

Інструкції до вправи

  • Налаштуйте модель LSTM, доповнивши шари LSTM і лінійний шар необхідними параметрами.
  • Ініціалізуйте модель із потрібними параметрами.
  • Навчіть модель LSTM: обнуляйте градієнти та пропускайте вхідні дані X_train_seq через модель.
  • Обчисліть функцію втрат на основі передбачених outputs і правильних міток.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Initialize the LSTM and the output layer with parameters
class LSTMModel(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers, num_classes):
        super(LSTMModel, self).__init__()
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        self.lstm = nn.LSTM(____, ____, ____, batch_first=True)
        self.fc = nn.Linear(____, ____)        
    def forward(self, x):
        h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size)
        c0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size)
        out, _ = self.lstm(x, (h0, c0))
        out = out[:, -1, :] 
        out = self.fc(out)
        return out

# Initialize model with required parameters
lstm_model = LSTMModel(____, ____, ____, ____)
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(lstm_model.parameters(), lr=0.01)

# Train the model by passing the correct parameters and zeroing the gradient
for epoch in range(10): 
    optimizer.____
    outputs = lstm_model(____)
    loss = criterion(____, y_train_seq)
    loss.backward()
    optimizer.step()
    print(f'Epoch: {epoch+1}, Loss: {loss.item()}')
Редагувати та запускати код