Začněte nyníZačněte zdarma

Přidání metod do třídy MultiHeadAttention

V tomto cvičení dokončíš třídu MultiHeadAttention od základu tím, že definuješ čtyři metody:

  • .split_heads(): rozdělí a transformuje vstupní embeddingy mezi jednotlivé attention hlavy
  • .compute_attention(): vypočítá škálované dot-product attention váhy vynásobené maticí hodnot
  • .combine_heads(): transformuje attention váhy zpět do stejného tvaru jako vstupní embeddingy, x
  • .forward(): volá ostatní metody a provede vstupní embeddingy přes každý krok zpracování

torch.nn byl importován jako nn, torch.nn.functional je dostupný jako F a torch je také k dispozici.

Toto cvičení je součástí kurzu

Transformer Models with PyTorch

Zobrazit kurz

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

class MultiHeadAttention(nn.Module):
    def __init__(self, d_model, num_heads):
        super().__init__()
        self.num_heads = num_heads
        self.d_model = d_model
        self.head_dim = d_model // num_heads
        self.query_linear = nn.Linear(d_model, d_model, bias=False)
        self.key_linear = nn.Linear(d_model, d_model, bias=False)
        self.value_linear = nn.Linear(d_model, d_model, bias=False)
        self.output_linear = nn.Linear(d_model, d_model)

    def split_heads(self, x, batch_size):
        seq_length = x.size(1)
        # Split the input embeddings and permute
        x = x.____
        return x.permute(0, 2, 1, 3)
Upravit a spustit kód