ćwiczenie

Budowanie transformera enkoder-dekoder

Teraz, gdy zaktualizowano klasę DecoderLayer i wprowadzono analogiczne zmiany w TransformerDecoder, możesz złożyć wszystko w całość. Dzięki modularnej i hierarchicznej budowie klas wystarczy zainicjować tylko dwie z nich, aby zbudować transformer enkoder-dekoder: TransformerDecoder i TransformerEncoder.

Instrukcje

100 XP

Uzupełnij przejście forward(), aby obliczyć wyjścia enkodera i dekodera.
Zainicjuj transformer i wywołaj go na input_tokens, używając podanych masek src_mask, tgt_mask i cross_mask.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}ćwiczenie

Instrukcje

ćwiczenie