Přidání křížové pozornosti do vrstvy dekodéru
Aby bylo možné propojit enkodérové a dekodérové bloky, které jsi definoval/a dříve, do enkodér-dekodérového transformeru, je potřeba vytvořit mechanismus křížové pozornosti, který bude sloužit jako most mezi oběma částmi.
Třída MultiHeadAttention, kterou jsi definoval/a dříve, je stále k dispozici.
Toto cvičení je součástí kurzu
Transformer Models with PyTorch
Pokyny k cvičení
- V metodě
__init__definuj mechanismus křížové pozornosti (pomocíMultiHeadAttention) a třetí normalizaci vrstvy (pomocínn.LayerNorm). - Dokonči dopředný průchod tak, aby zahrnoval křížovou pozornost ve vrstvě dekodéru.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
class DecoderLayer(nn.Module):
def __init__(self, d_model, num_heads, d_ff, dropout):
super().__init__()
self.self_attn = MultiHeadAttention(d_model, num_heads)
# Define cross-attention and a third layer normalization
self.cross_attn = ____
self.ff_sublayer = FeedForwardSubLayer(d_model, d_ff)
self.norm1 = nn.LayerNorm(d_model)
self.norm2 = nn.LayerNorm(d_model)
self.norm3 = ____
self.dropout = nn.Dropout(dropout)
def forward(self, x, y, tgt_mask, cross_mask):
self_attn_output = self.self_attn(x, x, x, tgt_mask)
x = self.norm1(x + self.dropout(self_attn_output))
# Complete the forward pass
cross_attn_output = self.____(____)
x = self.norm2(x + self.dropout(____))
ff_output = self.ff_sublayer(x)
x = self.norm3(x + self.dropout(ff_output))
return x