1. Learn
    2. /
  2. Курси
    3. /
  3. Моделі Transformer з PyTorch
Connected

Вправа

Реалізація multi-head attention

Перш ніж занурюватися й будувати власний клас MultiHeadAttention, спробуйте скористатися цим класом, щоб побачити, як він перетворює матриці query, key і value. Нагадаємо, що ці матриці отримують проєкцією вхідних вкладень (embeddings — векторних представлень) за допомогою лінійних перетворень із навчуваними вагами.

Матриці query, key і value вже створено для вас, а MultiHeadAttention уже визначено.

Інструкції

100 XP
  • Визначте параметри для восьми голів уваги та вхідних вкладень розмірності 512.
  • Створіть екземпляр класу MultiHeadAttention, використовуючи визначені параметри.
  • Пропустіть матриці query, key і value через механізм multihead_attn.