cvičení

Přidání křížové pozornosti do vrstvy dekodéru

Aby bylo možné propojit enkodérové a dekodérové bloky, které jsi definoval/a dříve, do enkodér-dekodérového transformeru, je potřeba vytvořit mechanismus křížové pozornosti, který bude sloužit jako most mezi oběma částmi.

Třída MultiHeadAttention, kterou jsi definoval/a dříve, je stále k dispozici.

Pokyny

100 XP

V metodě __init__ definuj mechanismus křížové pozornosti (pomocí MultiHeadAttention) a třetí normalizaci vrstvy (pomocí nn.LayerNorm).
Dokonči dopředný průchod tak, aby zahrnoval křížovou pozornost ve vrstvě dekodéru.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}cvičení

Pokyny

cvičení