Из чего состоит трансформер
Архитектура трансформера произвела революцию в моделировании последовательностей, объединив множество достижений в области глубокого обучения: позиционное кодирование, механизмы внимания и многое другое.
Какой компонент архитектуры трансформера отвечает за хранение информации о позиции каждого токена в последовательности?
Это упражнение является частью курса
Трансформерные модели с PyTorch
Практическое интерактивное упражнение
Превратите теорию в практику с помощью одного из наших интерактивных упражнений
Начать упражнение