1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Transformer Models with PyTorch
Connected

cvičení

Vytvoření vstupních embeddingů

Začínáme budovat vlastní transformer model – a prvním krokem je embedding vstupních token ID!

Definuješ třídu InputEmbeddings s těmito parametry:

  • vocab_size: velikost slovníku modelu
  • d_model: dimenzionalita vstupních embeddingů

Knihovny torch a math jsou již naimportované, stejně jako torch.nn pod aliasem nn. Tyto knihovny budeš mít k dispozici ve všech cvičeních kurzu.

Pokyny

100 XP
  • Nastav dimenzionalitu modelu a velikost slovníku podle argumentů d_model a vocab_size.
  • Vytvoř instanci embedding vrstvy.
  • Vrať embeddingy vynásobené druhou odmocninou self.d_model.
  • Vytvoř instanci InputEmbeddings s hodnotou vocab_size 10 000 a d_model 512 a aplikuj ji na token_ids.