始める無料で始める

テキスト向けGRUモデルの構築

PyBooks では、これまでに学習した2つのモデルの性能にチームは感心しています。ただし、最適なモデルを確実に選ぶため、さらなる向上を目指しています。そこで、テキスト分類における効率と有効性で知られる GRU モデルの活用を試し、プロジェクトを拡張してほしいという依頼がありました。新しい課題は、Newsgroup データセットの記事を次のカテゴリに分類するために GRU モデルを適用することです。

rec.autos、sci.med、comp.graphics

以下のパッケージは読み込まれています：torch、nn、optim。

この演習はコースの一部です

PyTorch で学ぶテキストの Deep Learning

コースを見る

演習の手順

  • 必要な引数を備えた GRU クラスを完成させます。
  • 同じハイパーパラメータでモデルを初期化します。
  • モデルを学習します：損失関数に必要な引数を渡し、損失を逆伝播させます。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

# Complete the GRU model
class GRUModel(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers, num_classes):
        super(GRUModel, self).__init__()
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        self.gru = ____
        self.fc = nn.Linear(hidden_size, num_classes)       
    def forward(self, x):
        h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size) 
        out, _ = self.gru(x, h0)
        out = out[:, -1, :] 
        out = self.fc(out)
        return out

# Initialize the model
gru_model = ____
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(gru_model.parameters(), lr=0.01)

# Train the model and backpropagate the loss after initialization
for epoch in range(15): 
    optimizer.zero_grad()
    outputs = ____
    loss = criterion(____, y_train_seq)
    ____
    optimizer.step()
    print(f'Epoch: {epoch+1}, Loss: {loss.item()}')
コードを編集して実行