Exercice

Le corps de l'encodeur du transformer

Votre corps de transformer en mode encodeur seulement est presque terminé! Il est temps de combiner les classes InputEmbeddings, PositionalEncoding et EncoderLayer que vous avez créées précédemment pour former une classe TransformerEncoder.

Instructions

100 XP

Définissez l'intégration des jetons, le codage positionnel et les couches d'encodeur (utilisez une compréhension de liste pour créer num_layers couches d'encodeur).
Effectuez le passage en avant (forward pass) à travers ces couches.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}Exercice

Instructions

Exercice