เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

โครงสร้างหลักของ encoder transformer

โครงสร้างหลักของ encoder-only transformer ใกล้จะสมบูรณ์แล้ว! ถึงเวลารวมคลาส InputEmbeddings, PositionalEncoding และ EncoderLayer ที่สร้างไว้ก่อนหน้านี้เข้าด้วยกันในคลาส TransformerEncoder

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Transformer Models ด้วย PyTorch

ดูคอร์ส

คำแนะนำการฝึกหัด

  • กำหนด token embedding, positional encoding และ encoder layer (ใช้ list comprehension เพื่อสร้าง encoder layer จำนวน num_layers ชั้น)
  • ทำ forward pass ผ่าน layer เหล่านี้

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

class TransformerEncoder(nn.Module):
    def __init__(self, vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length):
        super().__init__()
        # Define the embedding, positional encoding, and encoder layers
        self.embedding = ____(vocab_size, d_model)
        self.positional_encoding = ____(d_model, max_seq_length)
        self.layers = nn.____([____(d_model, num_heads, d_ff, dropout) for _ in range(num_layers)])

    def forward(self, x, src_mask):
        # Perform the forward pass through the layers
        x = self.____(x)
        x = self.____(x)
        for layer in ____:
            x = layer(x, src_mask)
        return x
แก้ไขและรันโค้ด