การสร้างโมเดล LSTM สำหรับข้อความ
ที่ PyBooks ทีมงานมองหาแนวทางปรับปรุงประสบการณ์ผู้ใช้อยู่เสมอ โดยนำเทคโนโลยีล่าสุดมาประยุกต์ใช้ ในครั้งนี้ทีมงานได้มอบหมายงานสำคัญให้คุณสำรวจศักยภาพของเครื่องมืออีกชนิดหนึ่ง นั่นคือ LSTM ซึ่งเป็นที่รู้จักในด้านความสามารถจับรูปแบบข้อมูลที่ซับซ้อนได้ดี คุณจะทำงานกับชุดข้อมูล Newsgroup ชุดเดิม โดยมีเป้าหมายเดิมคือการจำแนกบทความข่าวออกเป็น 3 หมวดหมู่ที่แตกต่างกัน:
rec.autos, sci.med, และ comp.graphics.
แพ็กเกจต่อไปนี้ถูกโหลดให้แล้ว: torch, nn, optim.
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Deep Learning สำหรับข้อความด้วย PyTorch
คำแนะนำการฝึกหัด
- สร้างโมเดล LSTM โดยเติมพารามิเตอร์ที่จำเป็นในเลเยอร์ LSTM และเลเยอร์ linear ให้ครบถ้วน
- กำหนดค่าเริ่มต้นให้โมเดลด้วยพารามิเตอร์ที่จำเป็น
- ฝึกโมเดล LSTM โดยรีเซ็ต gradient เป็นศูนย์ แล้วส่งข้อมูลอินพุต
X_train_seqผ่านโมเดล - คำนวณค่า loss จากผลลัพธ์ที่โมเดลทำนาย
outputsเทียบกับ label จริง
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Initialize the LSTM and the output layer with parameters
class LSTMModel(nn.Module):
def __init__(self, input_size, hidden_size, num_layers, num_classes):
super(LSTMModel, self).__init__()
self.hidden_size = hidden_size
self.num_layers = num_layers
self.lstm = nn.LSTM(____, ____, ____, batch_first=True)
self.fc = nn.Linear(____, ____)
def forward(self, x):
h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size)
c0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size)
out, _ = self.lstm(x, (h0, c0))
out = out[:, -1, :]
out = self.fc(out)
return out
# Initialize model with required parameters
lstm_model = LSTMModel(____, ____, ____, ____)
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(lstm_model.parameters(), lr=0.01)
# Train the model by passing the correct parameters and zeroing the gradient
for epoch in range(10):
optimizer.____
outputs = lstm_model(____)
loss = criterion(____, y_train_seq)
loss.backward()
optimizer.step()
print(f'Epoch: {epoch+1}, Loss: {loss.item()}')