Návrh masky pro self-attention
Aby se decoder naučil správně předpovídat tokeny, je důležité při zpracování vstupních sekvencí maskovat budoucí tokeny. Sestavíš masku v podobě trojúhelníkové matice hodnot True a False, přičemž hodnoty False v horní diagonále zajistí, že budoucí tokeny budou vyloučeny.
Toto cvičení je součástí kurzu
Transformer Models with PyTorch
Pokyny k cvičení
- Vytvoř booleovskou matici
tgt_markpro maskování budoucích tokenů v attention mechanismu těla decoderu.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
seq_length= 3
# Create a Boolean matrix to mask future tokens
tgt_mask = (1 - torch.____(
torch.____(1, ____, ____), diagonal=____)
).____()
print(tgt_mask)