テキスト向けLSTMモデルの構築
PyBooksでは、最新の技術進歩を活用してユーザー体験を継続的に高めています。その一環として、あなたに重要なタスクが任されました。チームは、データのパターンの複雑さをよりうまく捉えられる強力な手法であるLSTMの可能性を検討してほしいと考えています。扱うのは前回と同じNewsgroupデータセットで、目的も変わりません。ニュース記事を次の3つのカテゴリに分類します。
rec.autos、sci.med、comp.graphics。
次のパッケージはすでに読み込まれています：torch、nn、optim。
この演習はコースの一部です
PyTorch で学ぶテキストの Deep Learning
演習の手順
- 必要なパラメータを用いて、LSTM層と線形層を完成させ、LSTMモデルをセットアップします。
- 必要なパラメータでモデルを初期化します。
- 勾配をゼロにリセットし、入力データ
X_train_seqをモデルに通して、LSTMモデルを学習させます。 - 予測された
outputsと正解ラベルに基づいて損失を計算します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Initialize the LSTM and the output layer with parameters
class LSTMModel(nn.Module):
def __init__(self, input_size, hidden_size, num_layers, num_classes):
super(LSTMModel, self).__init__()
self.hidden_size = hidden_size
self.num_layers = num_layers
self.lstm = nn.LSTM(____, ____, ____, batch_first=True)
self.fc = nn.Linear(____, ____)
def forward(self, x):
h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size)
c0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size)
out, _ = self.lstm(x, (h0, c0))
out = out[:, -1, :]
out = self.fc(out)
return out
# Initialize model with required parameters
lstm_model = LSTMModel(____, ____, ____, ____)
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(lstm_model.parameters(), lr=0.01)
# Train the model by passing the correct parameters and zeroing the gradient
for epoch in range(10):
optimizer.____
outputs = lstm_model(____)
loss = criterion(____, y_train_seq)
loss.backward()
optimizer.step()
print(f'Epoch: {epoch+1}, Loss: {loss.item()}')