建立用於文本的 RNN 模型

身為 PyBooks 的資料分析師，你經常會遇到含有序列資訊的資料集，例如顧客互動、時間序列資料，或是文本文件。RNN 能有效分析並從這類資料中萃取洞見。本練習中，你將使用已為你處理並編碼好的 Newsgroup 資料集。這個資料集包含多個不同類別的文章。你的任務是使用 RNN 將這些文章分類為下列三個類別：

rec.autos、sci.med、comp.graphics。

以下物件已為你載入：torch、nn、optim。

此外，參數 input_size、hidden_size（32）、num_layers（2）、以及 num_classes 也已預先載入。

本題與後續練習均使用 sklearn 的 fetch_20newsgroups 資料集。

本練習屬於課程

Deep Learning for Text with PyTorch

檢視課程

練習說明

在 RNN 類別中加入一個 RNN 層與一個全連接的線性層。
初始化模型。
透過將梯度歸零來訓練 RNN 模型 10 個 epoch。

動手互動練習

試著完成這個範例程式碼，體驗一下這個練習。

# Complete the RNN class
class RNNModel(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers, num_classes):
        super(RNNModel, self).__init__()
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        self.rnn = ____.____(input_size, hidden_size, num_layers, batch_first=True)
        self.fc = ____.____(hidden_size, num_classes)        
    def forward(self, x):
        h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size)
        out, _ = self.rnn(x, h0)
        out = out[:, -1, :] 
        out = self.fc(out)
        return out

# Initialize the model
rnn_model = ____(input_size, hidden_size, num_layers, num_classes)
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(rnn_model.parameters(), lr=0.01)

# Train the model for ten epochs and zero the gradients
for epoch in ____: 
    optimizer.____()
    outputs = ____(X_train_seq)
    loss = criterion(outputs, y_train_seq)
    loss.backward()
    optimizer.step()
    print(f'Epoch: {epoch+1}, Loss: {loss.item()}')

編輯並執行程式碼