1. Nauka
    2. /
  2. Kursy
    3. /
  3. Modele Transformer w PyTorch
Connected

ćwiczenie

Tworzenie osadzeń wejściowych

Czas zacząć budować własny model transformera – pierwszy krok to osadzenie identyfikatorów tokenów wejściowych!

Zdefiniujesz klasę InputEmbeddings z następującymi parametrami:

  • vocab_size: rozmiar słownika modelu
  • d_model: wymiarowość osadzeń wejściowych

Biblioteki torch i math zostały już zaimportowane, podobnie jak torch.nn jako nn. Będą one dostępne we wszystkich ćwiczeniach kursu.

Instrukcje

100 XP
  • Przypisz wymiarowość modelu i rozmiar słownika do argumentów odpowiednio d_model i vocab_size.
  • Utwórz instancję warstwy osadzeń.
  • Zwróć osadzenia pomnożone przez pierwiastek kwadratowy z self.d_model.
  • Utwórz instancję klasy InputEmbeddings z parametrami vocab_size równym 10 000 i d_model równym 512, a następnie zastosuj ją do token_ids.