cvičení

Tělo enkodérového transformeru

Tělo tvého enkodérového transformeru je skoro hotové! Teď je čas spojit třídy InputEmbeddings, PositionalEncoding a EncoderLayer, které jsi vytvořil/a dříve, do třídy TransformerEncoder.

Pokyny

100 XP

Definuj token embedding, poziční kódování a enkodérové vrstvy (pomocí list comprehension vytvoř num_layers enkodérových vrstev).
Proveď forward pass skrz tyto vrstvy.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}cvičení

Pokyny

cvičení