การสร้างโมเดล GRU สำหรับข้อความ
ที่ PyBooks ทีมงานประทับใจกับประสิทธิภาพของโมเดลทั้งสองที่คุณเทรนไปก่อนหน้านี้ อย่างไรก็ตาม เพื่อให้ได้ผลลัพธ์ที่ดีที่สุด พวกเขาต้องการสำรวจความสามารถของโมเดล GRU ซึ่งเป็นที่รู้จักในด้านประสิทธิภาพและความแม่นยำสำหรับงาน text classification จึงได้มอบหมายให้คุณนำโมเดล GRU มาใช้จัดหมวดหมู่บทความจากชุดข้อมูล Newsgroup ออกเป็นหมวดหมู่ต่อไปนี้:
rec.autos, sci.med และ comp.graphics
แพ็กเกจต่อไปนี้ถูกโหลดไว้ให้แล้ว: torch, nn, optim
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Deep Learning สำหรับข้อความด้วย PyTorch
คำแนะนำการฝึกหัด
- เติมคลาส GRU ด้วยพารามิเตอร์ที่จำเป็น
- สร้างอินสแตนซ์ของโมเดลด้วยพารามิเตอร์เดียวกัน
- เทรนโมเดล: ส่งพารามิเตอร์ไปยังฟังก์ชัน criterion และทำการ backpropagate ค่า loss
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Complete the GRU model
class GRUModel(nn.Module):
def __init__(self, input_size, hidden_size, num_layers, num_classes):
super(GRUModel, self).__init__()
self.hidden_size = hidden_size
self.num_layers = num_layers
self.gru = ____
self.fc = nn.Linear(hidden_size, num_classes)
def forward(self, x):
h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size)
out, _ = self.gru(x, h0)
out = out[:, -1, :]
out = self.fc(out)
return out
# Initialize the model
gru_model = ____
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(gru_model.parameters(), lr=0.01)
# Train the model and backpropagate the loss after initialization
for epoch in range(15):
optimizer.zero_grad()
outputs = ____
loss = criterion(____, y_train_seq)
____
optimizer.step()
print(f'Epoch: {epoch+1}, Loss: {loss.item()}')