ćwiczenie

Uzupełnianie transformera dekodera

Czas zbudować główną część transformera dekodera! Wykorzystasz w tym celu wcześniej utworzone klasy: InputEmbeddings, PositionalEncoding i DecoderLayer.

Instrukcje

100 XP

Zdefiniuj listę num_layers warstw dekodera, używając wyrażenia listowego i klasy DecoderLayer.
Zdefiniuj warstwę liniową, która rzutuje ukryte stany na prawdopodobieństwa słów.
Uzupełnij przejście w przód przez warstwy zdefiniowane w __init__.
Utwórz instancję transformera dekodera i zastosuj ją do input_tokens oraz tgt_mask.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}ćwiczenie

Instrukcje

ćwiczenie