为自注意力设计掩码
为了让解码器学会预测后续的标记，建模输入序列时必须屏蔽未来的标记。您将构建一个由 True 和 False 组成的三角矩阵作为掩码，在上三角（含上对角线）位置填入 False，以排除未来标记。
本练习是课程的一部分
使用 PyTorch 的 Transformer 模型
练习说明
- 创建一个布尔矩阵
tgt_mark，用于在解码器主体的注意力机制中屏蔽未来的标记。
交互式实操练习
通过完成这段示例代码来试试这个练习。
seq_length= 3
# Create a Boolean matrix to mask future tokens
tgt_mask = (1 - torch.____(
torch.____(1, ____, ____), diagonal=____)
).____()
print(tgt_mask)