Crearea unei măști pentru auto-atenție
Pentru ca decodorul să poată învăța să prezică tokeni, este important să maschezi tokenii viitori atunci când modelezi secvențele de intrare. Vei construi o mască sub forma unei matrice triunghiulare de valori True și False, cu valori False în diagonala superioară, pentru a exclude tokenii viitori.
Acest exercițiu face parte din cursul
Modele Transformer cu PyTorch
Instrucțiuni pentru exercițiu
- Creează o matrice booleană,
tgt_mark, pentru a masca tokenii viitori în mecanismul de atenție al corpului decodorului.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
seq_length= 3
# Create a Boolean matrix to mask future tokens
tgt_mask = (1 - torch.____(
torch.____(1, ____, ____), diagonal=____)
).____()
print(tgt_mask)