Designa en mask för självuppmärksamhet
För att dekodern ska kunna lära sig att förutsäga tokens är det viktigt att maskera framtida tokens när indatasekvenserna modelleras. Du ska bygga en mask i form av en triangulär matris med värdena True och False, där False-värden i den övre diagonalen utesluter framtida tokens.
Den här övningen är en del av kursen
Transformermodeller med PyTorch
Övningsinstruktioner
- Skapa en boolesk matris,
tgt_mark, för att maskera framtida tokens i uppmärksamhetsmekanismen i dekoderblocket.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
seq_length= 3
# Create a Boolean matrix to mask future tokens
tgt_mask = (1 - torch.____(
torch.____(1, ____, ____), diagonal=____)
).____()
print(tgt_mask)