övning

Projektowanie maski dla mechanizmu samo-uwagi

Aby dekoder mógł uczyć się przewidywania tokenów, ważne jest maskowanie przyszłych tokenów podczas przetwarzania sekwencji wejściowych. Zbudujesz maskę w postaci macierzy trójkątnej złożonej z wartości True i False, gdzie wartości False w górnej przekątnej wykluczają przyszłe tokeny.

Instruktioner

100 XP

Utwórz macierz logiczną tgt_mark, która maskuje przyszłe tokeny w mechanizmie uwagi ciała dekodera.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}övning

Instruktioner

övning