НачатьНачать бесплатно

Создание маски для самовнимания

Чтобы декодер мог обучиться предсказывать токены, важно маскировать будущие токены при обработке входных последовательностей. Вы построите маску в виде треугольной матрицы из значений True и False, где False расставлены в верхней диагонали для исключения будущих токенов.

Это упражнение является частью курса

Трансформерные модели с PyTorch

Посмотреть курс

Инструкции к упражнению

  • Создайте булеву матрицу tgt_mark для маскирования будущих токенов в механизме внимания блока декодера.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

seq_length= 3

# Create a Boolean matrix to mask future tokens
tgt_mask = (1 - torch.____(
  torch.____(1, ____, ____), diagonal=____)
).____()

print(tgt_mask)
Редактировать и запускать код