1. Learn
    2. /
  2. कोर्स
    3. /
  3. Modèles Transformer avec PyTorch
Connected

अभ्यास

Sous-couches feed-forward

Les sous-couches feed-forward projettent les sorties de l'attention vers des représentations non linéaires plus abstraites pour mieux capter les relations complexes.

Dans cet exercice, vous allez créer une FeedForwardSubLayer pour votre transformeur de type encodeur seulement. Cette couche sera composée de deux couches linéaires avec une fonction d'activation ReLU entre les deux. Elle prend aussi deux paramètres, d_model et d_ff, qui représentent respectivement la dimension des plongements en entrée et la dimension intermédiaire entre les couches linéaires.

d_model et d_ff sont déjà fournis pour que vous puissiez les utiliser.

निर्देश

100 XP
  • Définissez la première et la deuxième couche linéaire ainsi que l'activation ReLU pour la sous-couche feed-forward, en utilisant d_model et une dimension d_ff entre les couches.
  • Faites passer l'entrée à travers les couches et la fonction d'activation dans la méthode forward().
  • Instanciez la FeedForwardSubLayer en utilisant d_model et d_ff fournis (réglés respectivement à 512 et 2048) et appliquez-la aux plongements d'entrée, x.