1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Transformer Models with PyTorch
Connected

cvičení

Vytvoření pozičních kódování

Embedding tokenů je dobrý začátek, ale těmto embeddingům stále chybí informace o pozici každého tokenu v sekvenci. Transformer architektura to řeší pomocí pozičních kódování, která do embeddingů zakódují informaci o pozici každého tokenu.

Vytvoříš třídu PositionalEncoding s následujícími parametry:

  • d_model: dimenzionalita vstupních embeddingů
  • max_seq_length: maximální délka sekvence (nebo délka sekvence, pokud jsou všechny sekvence stejně dlouhé)

Pokyny

100 XP
  • Vytvoř matici nul o rozměrech max_seq_length krát d_model.
  • Proveď výpočty sinu a kosinu nad position * div_term a získej sudé a liché hodnoty pozičního embeddingu.
  • Zajisti, aby pe nebyl trénovatelným parametrem během trénování.
  • Přičti transformované poziční embeddingy ke vstupním embeddingům tokenů x.