演習

Ajouter l'attention croisée à la couche du décodeur

Pour intégrer les piles d'encodeur et de décodeur que vous avez définies auparavant dans un transformeur encodeur-décodeur, vous devez créer un mécanisme d'attention croisée qui servira de pont entre les deux.

La classe MultiHeadAttention que vous avez définie plus tôt est toujours disponible.

指示

100 XP

Définissez un mécanisme d'attention croisée (à l'aide de MultiHeadAttention) et une troisième normalisation de couche (à l'aide de nn.LayerNorm) dans la méthode __init__.
Complétez la passe avant pour ajouter l'attention croisée à la couche du décodeur.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}演習

指示

演習