1. Apprendre
    2. /
  2. Cours
    3. /
  3. Modèles Transformer avec PyTorch
Connected

Exercice

Créer les intégrations d'entrée

C'est le moment de commencer à bâtir votre propre modèle de transformer, et la première étape consiste à intégrer les identifiants de jetons en entrée!

Vous allez définir une classe InputEmbeddings avec les paramètres suivants :

  • vocab_size : la taille du vocabulaire du modèle
  • d_model : la dimensionnalité des intégrations d'entrée

Les bibliothèques torch et math ont été importées pour vous, ainsi que torch.nn sous le nom nn. Elles seront chargées dans l'ensemble des exercices du cours.

Instructions

100 XP
  • Affectez la dimension du modèle et la taille du vocabulaire aux arguments d_model et vocab_size, respectivement.
  • Instanciez la couche d'intégration.
  • Retournez les intégrations multipliées par la racine carrée de self.d_model.
  • Instanciez InputEmbeddings avec un vocab_size de 10 000 et un d_model de 512, puis appliquez-le à token_ids.