為自注意力設計遮罩
為了讓解碼器能學會預測權杖，在對輸入序列建模時，必須對未來的權杖進行遮罩。你將建立一個由 True 與 False 組成的三角矩陣作為遮罩，並在右上三角（上對角）位置放入 False，以排除未來的權杖。
本練習屬於課程
Transformer Models with PyTorch
練習說明
- 建立一個布林矩陣
tgt_mark，用來在解碼器主體的注意力機制中遮罩未來的權杖。
動手互動練習
試著完成這個範例程式碼，體驗一下這個練習。
seq_length= 3
# Create a Boolean matrix to mask future tokens
tgt_mask = (1 - torch.____(
torch.____(1, ____, ____), diagonal=____)
).____()
print(tgt_mask)