1. Learn
    2. /
  2. Courses
    3. /
  3. Transformer Models with PyTorch
Connected

Exercise

Implementace multi-head attention

Než začneš vytvářet vlastní třídu MultiHeadAttention, vyzkoušíš si práci s hotovou třídou a uvidíš, jak transformuje matice query, key a value. Připomeň si, že tyto matice vznikají promítnutím vstupních embeddingů pomocí lineárních transformací s naučenými váhami.

Matice query, key a value jsou už připravené a třída MultiHeadAttention je pro tebe předem definovaná.

Instructions

100 XP
  • Definuj parametry attention mechanismu pro osm attention hlaviček a vstupní embeddingy s dimenzionalitou 512.
  • Vytvoř instanci třídy MultiHeadAttention pomocí definovaných parametrů.
  • Předej matice query, key a value mechanismem multihead_attn.