เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

การสร้างโมเดล RNN สำหรับข้อความ

ในฐานะนักวิเคราะห์ข้อมูลที่ PyBooks คุณมักพบกับชุดข้อมูลที่มีข้อมูลเชิงลำดับ เช่น ข้อมูลการโต้ตอบของลูกค้า ข้อมูลอนุกรมเวลา หรือเอกสารข้อความ RNN สามารถวิเคราะห์และดึงข้อมูลเชิงลึกจากข้อมูลประเภทนี้ได้อย่างมีประสิทธิภาพ ในแบบฝึกหัดนี้ จะได้ทดลองใช้ชุดข้อมูล Newsgroup ที่ผ่านการประมวลผลและเข้ารหัสมาให้แล้ว ชุดข้อมูลนี้ประกอบด้วยบทความจากหมวดหมู่ต่างๆ โดยมีเป้าหมายคือการใช้ RNN จำแนกบทความออกเป็น 3 หมวดหมู่ ได้แก่:

rec.autos, sci.med และ comp.graphics

สิ่งที่โหลดมาให้แล้ว: torch, nn, optim

นอกจากนี้ พารามิเตอร์ input_size, hidden_size (32), num_layers (2) และ num_classes ได้รับการโหลดไว้ล่วงหน้าแล้ว

แบบฝึกหัดนี้และแบบฝึกหัดถัดไปใช้ชุดข้อมูล fetch_20newsgroups จาก sklearn

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Deep Learning สำหรับข้อความด้วย PyTorch

ดูคอร์ส

คำแนะนำการฝึกหัด

  • เติมโค้ดใน RNN class ให้ครบด้วย RNN layer และ fully connected linear layer
  • กำหนดค่าเริ่มต้นให้โมเดล
  • ฝึกโมเดล RNN เป็นเวลา 10 epoch โดยใช้การล้างค่า gradient

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Complete the RNN class
class RNNModel(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers, num_classes):
        super(RNNModel, self).__init__()
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        self.rnn = ____.____(input_size, hidden_size, num_layers, batch_first=True)
        self.fc = ____.____(hidden_size, num_classes)        
    def forward(self, x):
        h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size)
        out, _ = self.rnn(x, h0)
        out = out[:, -1, :] 
        out = self.fc(out)
        return out

# Initialize the model
rnn_model = ____(input_size, hidden_size, num_layers, num_classes)
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(rnn_model.parameters(), lr=0.01)

# Train the model for ten epochs and zero the gradients
for epoch in ____: 
    optimizer.____()
    outputs = ____(X_train_seq)
    loss = criterion(outputs, y_train_seq)
    loss.backward()
    optimizer.step()
    print(f'Epoch: {epoch+1}, Loss: {loss.item()}')
แก้ไขและรันโค้ด