Self-Attention용 마스크 설계
decoder가 토큰을 예측하도록 학습하려면 입력 시퀀스를 모델링할 때 미래 토큰을 마스킹하는 것이 중요합니다. True와 False 값으로 이루어진 삼각 행렬 형태의 마스크를 만드세요. 미래 토큰을 제외하기 위해 상삼각 대각선 위쪽에는 False 값을 배치합니다.
이 연습은 강의의 일부입니다
PyTorch로 배우는 Transformer 모델
연습 안내
- decoder 본문의 attention 메커니즘에서 미래 토큰을 마스킹할 불리언 행렬
tgt_mark를 생성하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
seq_length= 3
# Create a Boolean matrix to mask future tokens
tgt_mask = (1 - torch.____(
torch.____(1, ____, ____), diagonal=____)
).____()
print(tgt_mask)