Projektowanie maski dla mechanizmu samo-uwagi
Aby dekoder mógł uczyć się przewidywania tokenów, ważne jest maskowanie przyszłych tokenów podczas przetwarzania sekwencji wejściowych. Zbudujesz maskę w postaci macierzy trójkątnej złożonej z wartości True i False, gdzie wartości False w górnej przekątnej wykluczają przyszłe tokeny.
To ćwiczenie jest częścią kursu
Modele Transformer w PyTorch
Instrukcje do ćwiczenia
- Utwórz macierz logiczną
tgt_mark, która maskuje przyszłe tokeny w mechanizmie uwagi ciała dekodera.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
seq_length= 3
# Create a Boolean matrix to mask future tokens
tgt_mask = (1 - torch.____(
torch.____(1, ____, ____), diagonal=____)
).____()
print(tgt_mask)