1. Learn
    2. /
  2. Курси
    3. /
  3. Моделі Transformer з PyTorch
Connected

Вправа

Створення вхідних вкладень

Час почати створювати власну модель трансформера, і перший крок — вбудувати ідентифікатори вхідних токенів!

Ви визначите клас InputEmbeddings з такими параметрами:

  • vocab_size: розмір словника моделі
  • d_model: розмірність вхідних вкладень

Бібліотеки torch і math вже імпортовано, а також torch.nn як nn. Вони будуть доступні впродовж усіх вправ курсу.

Інструкції

100 XP
  • Присвойте розмірність моделі та розмір словника аргументам d_model і vocab_size відповідно.
  • Ініціалізуйте шар вкладень.
  • Поверніть вкладення, помножені на квадратний корінь із self.d_model.
  • Створіть InputEmbeddings з vocab_size 10 000 і d_model 512 та застосуйте його до token_ids.