Construire un modèle LSTM pour le texte

Chez PyBooks, l’équipe cherche en permanence à améliorer l’expérience utilisateur en s’appuyant sur les dernières avancées technologiques. Dans cette optique, elle vous confie une mission essentielle. L’équipe souhaite que vous exploriez le potentiel d’un autre outil puissant : les LSTM, réputés pour mieux capturer la complexité des motifs dans les données. Vous travaillez avec le même jeu de données Newsgroup, avec un objectif inchangé : classer des articles de presse en trois catégories distinctes :

rec.autos, sci.med et comp.graphics.

Les packages suivants ont été chargés pour vous : torch, nn, optim.

Cet exercice fait partie du cours

Deep Learning pour le texte avec PyTorch

Afficher le cours

Instructions

Mettez en place un modèle LSTM en complétant les couches LSTM et linéaire avec les paramètres nécessaires.
Initialisez le modèle avec les paramètres requis.
Entraînez le modèle LSTM en réinitialisant les gradients à zéro et en passant les données d’entrée X_train_seq dans le modèle.
Calculez la perte à partir des outputs prédits et des étiquettes réelles.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Initialize the LSTM and the output layer with parameters
class LSTMModel(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers, num_classes):
        super(LSTMModel, self).__init__()
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        self.lstm = nn.LSTM(____, ____, ____, batch_first=True)
        self.fc = nn.Linear(____, ____)        
    def forward(self, x):
        h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size)
        c0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size)
        out, _ = self.lstm(x, (h0, c0))
        out = out[:, -1, :] 
        out = self.fc(out)
        return out

# Initialize model with required parameters
lstm_model = LSTMModel(____, ____, ____, ____)
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(lstm_model.parameters(), lr=0.01)

# Train the model by passing the correct parameters and zeroing the gradient
for epoch in range(10): 
    optimizer.____
    outputs = lstm_model(____)
    loss = criterion(____, y_train_seq)
    loss.backward()
    optimizer.step()
    print(f'Epoch: {epoch+1}, Loss: {loss.item()}')

Modifier et exécuter le code