1. Learn
    2. /
  2. Courses
    3. /
  3. Modèles Transformer avec PyTorch
Connected

Exercise

Transformers PyTorch

Maintenant que vous connaissez les différentes composantes de l'architecture Transformer, il est temps d'en définir une ! Le module torch.nn, importé pour vous sous le nom nn, offre une façon très simple de le faire en seulement quelques lignes de code.

Instructions

100 XP
  • Définissez un transformer avec 8 têtes d'attention, 6 couches d'encodeur et de décodeur, et des plongements de séquence d'entrée de longueur 1536.
  • Affichez l'objet du modèle pour voir l'architecture du modèle.