ÎncepețiÎncepe gratuit

Construirea unui model GRU pentru text

La PyBooks, echipa a fost impresionată de performanța celor două modele pe care le-ai antrenat anterior. Totuși, în căutarea excelenței, vor să se asigure că aleg cel mai bun model pentru sarcina în cauză. Prin urmare, ți-au cerut să extinzi proiectul experimentând cu modelele GRU, cunoscute pentru eficiența și eficacitatea lor în sarcinile de clasificare a textului. Noua ta sarcină este să aplici modelul GRU pentru a clasifica articole din setul de date Newsgroup în următoarele categorii:

rec.autos, sci.med și comp.graphics.

Următoarele pachete au fost încărcate pentru tine: torch, nn, optim.

Acest exercițiu face parte din cursul

Deep Learning pentru text cu PyTorch

Vezi cursul

Instrucțiuni pentru exercițiu

  • Completează clasa GRU cu parametrii necesari.
  • Inițializează modelul cu aceiași parametri.
  • Antrenează modelul: transmite parametrii funcției criterion și propagă înapoi eroarea.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Complete the GRU model
class GRUModel(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers, num_classes):
        super(GRUModel, self).__init__()
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        self.gru = ____
        self.fc = nn.Linear(hidden_size, num_classes)       
    def forward(self, x):
        h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size) 
        out, _ = self.gru(x, h0)
        out = out[:, -1, :] 
        out = self.fc(out)
        return out

# Initialize the model
gru_model = ____
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(gru_model.parameters(), lr=0.01)

# Train the model and backpropagate the loss after initialization
for epoch in range(15): 
    optimizer.zero_grad()
    outputs = ____
    loss = criterion(____, y_train_seq)
    ____
    optimizer.step()
    print(f'Epoch: {epoch+1}, Loss: {loss.item()}')
Editează și rulează codul