เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

สร้าง decoder transformer ให้สมบูรณ์

ถึงเวลาสร้างส่วนหลักของ decoder transformer แล้ว! โดยจะนำคลาส InputEmbeddings, PositionalEncoding และ DecoderLayer ที่สร้างไว้ก่อนหน้ามารวมเข้าด้วยกัน

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Transformer Models ด้วย PyTorch

ดูคอร์ส

คำแนะนำการฝึกหัด

  • กำหนดรายการของ decoder layer จำนวน num_layers ชั้น โดยใช้ list comprehension และคลาส DecoderLayer
  • กำหนด linear layer สำหรับ project hidden states ให้เป็นค่าความน่าจะเป็นของคำ
  • เขียน forward pass ให้ครบผ่านทุก layer ที่กำหนดใน __init__
  • สร้าง decoder transformer และนำไปใช้กับ input_tokens และ tgt_mask

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

class TransformerDecoder(nn.Module):
    def __init__(self, vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length):
        super(TransformerDecoder, self).__init__()
        self.embedding = InputEmbeddings(vocab_size, d_model)
        self.positional_encoding = PositionalEncoding(d_model, max_seq_length)
        # Define the list of decoder layers and linear layer
        self.layers = nn.____([____(d_model, num_heads, d_ff, dropout) for _ in range(num_layers)])
        # Define a linear layer to project hidden states to likelihoods
        self.fc = ____
  
    def forward(self, x, tgt_mask):
        # Complete the forward pass
        x = self.____(x)
        x = self.____(x)
        for layer in self.layers:
            x = ____
        x = self.____(x)
        return F.log_softmax(x, dim=-1)

# Instantiate a decoder transformer and apply it to input_tokens and tgt_mask
transformer_decoder = ____(vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length)   
output = ____
print(output)
print(output.shape)
แก้ไขและรันโค้ด