1. Nauka
    2. /
  2. Kursy
    3. /
  3. Modele Transformer w PyTorch
Connected

ćwiczenie

Warstwa enkodera transformera

Mając zdefiniowaną klasę FeedForwardSubLayer, dysponujesz już wszystkimi elementami potrzebnymi do zdefiniowania klasy EncoderLayer. Przypomnij sobie, że warstwa enkodera składa się zazwyczaj z mechanizmu uwagi wielogłowicowej (multi-head attention) oraz podwarstwy feed-forward, z normalizacją warstwy i dropoutem stosowanymi na wejściu i wyjściu tej podwarstwy.

Klasy, które już wcześniej zdefiniowano, są dostępne pod tymi samymi nazwami, razem z torch i torch.nn zaimportowanym jako nn.

Instrukcje

100 XP
  • Uzupełnij metodę __init__, tworząc instancje MultiHeadAttention, FeedForwardSubLayer oraz dwóch warstw normalizacji.
  • Uzupełnij metodę forward(), dodając mechanizm uwagi wielogłowicowej i podwarstwę feed-forward; w mechanizmie uwagi użyj podanego src_mask oraz osadzeń wejściowych x jako macierzy query, key i value.