เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

การสร้าง Encoder-Decoder Transformer

หลังจากอัปเดตคลาส DecoderLayer และปรับเปลี่ยน TransformerDecoder ในลักษณะเดียวกันแล้ว ก็ถึงเวลาประกอบทุกส่วนเข้าด้วยกัน เนื่องจากสร้างคลาสต่าง ๆ ไว้อย่างเป็นโมดูลและมีลำดับชั้น จึงต้องสร้าง instance เพียง 2 คลาสเท่านั้นเพื่อสร้าง encoder-decoder transformer ได้แก่ TransformerDecoder และ TransformerEncoder

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Transformer Models ด้วย PyTorch

ดูคอร์ส

คำแนะนำการฝึกหัด

  • กำหนด forward() ให้ครบถ้วนเพื่อคำนวณผลลัพธ์จาก encoder และ decoder
  • สร้าง instance และเรียกใช้ transformer บน input_tokens โดยใช้ src_mask, tgt_mask และ cross_mask ที่กำหนดไว้

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

class Transformer(nn.Module):
    def __init__(self, vocab_size, d_model, num_heads, num_layers, d_ff, max_seq_length, dropout):
        super().__init__()
        self.encoder = TransformerEncoder(vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length)
        self.decoder = TransformerDecoder(vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length)

    def forward(self, x, src_mask, tgt_mask, cross_mask):
        # Complete the forward pass
        encoder_output = self.encoder(____, ____)
        decoder_output = self.decoder(____, ____, tgt_mask, cross_mask)
        return decoder_output

# Instantiate and call the transformer
transformer = ____(vocab_size, d_model, num_heads, num_layers, d_ff, max_seq_length, dropout)
outputs = ____
print(outputs)
print(outputs.shape)
แก้ไขและรันโค้ด