Začněte nyníZačněte zdarma

Vytvoření pozičních kódování

Embedding tokenů je dobrý začátek, ale těmto embeddingům stále chybí informace o pozici každého tokenu v sekvenci. Transformer architektura to řeší pomocí pozičních kódování, která do embeddingů zakódují informaci o pozici každého tokenu.

Vytvoříš třídu PositionalEncoding s následujícími parametry:

  • d_model: dimenzionalita vstupních embeddingů
  • max_seq_length: maximální délka sekvence (nebo délka sekvence, pokud jsou všechny sekvence stejně dlouhé)

Toto cvičení je součástí kurzu

Transformer Models with PyTorch

Zobrazit kurz

Pokyny k cvičení

  • Vytvoř matici nul o rozměrech max_seq_length krát d_model.
  • Proveď výpočty sinu a kosinu nad position * div_term a získej sudé a liché hodnoty pozičního embeddingu.
  • Zajisti, aby pe nebyl trénovatelným parametrem během trénování.
  • Přičti transformované poziční embeddingy ke vstupním embeddingům tokenů x.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

class PositionalEncoding(nn.Module):
    def __init__(self, d_model, max_seq_length):
        super().__init__()
        # Create a matrix of zeros of dimensions max_seq_length by d_model
        pe = ____
        position = torch.arange(0, max_seq_length, dtype=torch.float).unsqueeze(1)
        div_term = torch.exp(torch.arange(0, d_model, 2).float() * -(math.log(10000.0) / d_model))
        
        # Perform the sine and cosine calculations
        pe[:, 0::2] = torch.____(position * div_term)
        pe[:, 1::2] = torch.____(position * div_term)
        # Ensure pe isn't a learnable parameter during training
        self.____('____', pe.unsqueeze(0))
        
    def forward(self, x):
        # Add the positional embeddings to the token embeddings
        return ____ + ____[:, :x.size(1)]

pos_encoding_layer = PositionalEncoding(d_model=512, max_seq_length=4)
output = pos_encoding_layer(token_embeddings)
print(output.shape)
print(output[0][0][:10])
Upravit a spustit kód