สร้าง decoder transformer ให้สมบูรณ์
ถึงเวลาสร้างส่วนหลักของ decoder transformer แล้ว! โดยจะนำคลาส InputEmbeddings, PositionalEncoding และ DecoderLayer ที่สร้างไว้ก่อนหน้ามารวมเข้าด้วยกัน
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Transformer Models ด้วย PyTorch
คำแนะนำการฝึกหัด
- กำหนดรายการของ decoder layer จำนวน
num_layersชั้น โดยใช้ list comprehension และคลาสDecoderLayer - กำหนด linear layer สำหรับ project hidden states ให้เป็นค่าความน่าจะเป็นของคำ
- เขียน forward pass ให้ครบผ่านทุก layer ที่กำหนดใน
__init__ - สร้าง decoder transformer และนำไปใช้กับ
input_tokensและtgt_mask
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
class TransformerDecoder(nn.Module):
def __init__(self, vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length):
super(TransformerDecoder, self).__init__()
self.embedding = InputEmbeddings(vocab_size, d_model)
self.positional_encoding = PositionalEncoding(d_model, max_seq_length)
# Define the list of decoder layers and linear layer
self.layers = nn.____([____(d_model, num_heads, d_ff, dropout) for _ in range(num_layers)])
# Define a linear layer to project hidden states to likelihoods
self.fc = ____
def forward(self, x, tgt_mask):
# Complete the forward pass
x = self.____(x)
x = self.____(x)
for layer in self.layers:
x = ____
x = self.____(x)
return F.log_softmax(x, dim=-1)
# Instantiate a decoder transformer and apply it to input_tokens and tgt_mask
transformer_decoder = ____(vocab_size, d_model, num_layers, num_heads, d_ff, dropout, max_seq_length)
output = ____
print(output)
print(output.shape)