1. Learn
    2. /
  2. Курси
    3. /
  3. Modèles Transformer avec PyTorch
Connected

Вправа

La couche d'encodeur du transformer

Avec une classe FeedForwardSubLayer définie, vous avez toutes les pièces nécessaires pour définir une classe EncoderLayer. Rappelez-vous que la couche d'encodeur se compose généralement d'un mécanisme d'attention multi-têtes et d'une sous-couche à propagation avant (feed-forward) avec normalisation de couche et abandon (dropout) appliqués aux entrées et sorties de la sous-couche.

Les classes que vous avez déjà définies sont à votre disposition avec les mêmes noms, ainsi que torch et torch.nn sous le nom nn.

Інструкції

100 XP
  • Complétez la méthode __init__ pour instancier MultiHeadAttention, FeedForwardSubLayer et deux normalisations de couche.
  • Complétez la méthode forward() en remplissant le mécanisme d'attention multi-têtes et la sous-couche feed-forward; pour le mécanisme d'attention, utilisez le src_mark fourni et les intégrations d'entrée, x, pour les matrices query, key et value.