cvičení

Návrh masky pro self-attention

Aby se decoder naučil správně předpovídat tokeny, je důležité při zpracování vstupních sekvencí maskovat budoucí tokeny. Sestavíš masku v podobě trojúhelníkové matice hodnot True a False, přičemž hodnoty False v horní diagonále zajistí, že budoucí tokeny budou vyloučeny.

Pokyny

100 XP

Vytvoř booleovskou matici tgt_mark pro maskování budoucích tokenů v attention mechanismu těla decoderu.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}cvičení

Pokyny

cvičení