1. Learn
    2. /
  2. Kurser
    3. /
  3. Modele Transformer w PyTorch
Connected

övning

Implementacja wielogłowicowej atencji

Zanim zaczniesz budować własną klasę MultiHeadAttention, najpierw sprawdź, jak działa gotowa implementacja – przekonaj się, w jaki sposób przekształca ona macierze zapytań (query), kluczy (key) i wartości (value). Pamiętaj, że macierze te powstają przez rzutowanie osadzeń wejściowych za pomocą transformacji liniowych z wyuczonymi wagami.

Macierze query, key i value zostały już dla ciebie przygotowane, a klasa MultiHeadAttention jest już zdefiniowana.

Instruktioner

100 XP
  • Zdefiniuj parametry atencji dla ośmiu głowic uwagi oraz osadzeń wejściowych o wymiarowości 512.
  • Utwórz instancję klasy MultiHeadAttention, korzystając ze zdefiniowanych parametrów.
  • Przepuść macierze query, key i value przez mechanizm multihead_attn.