Трансформеры в PyTorch
Теперь, когда вы познакомились с основными компонентами архитектуры трансформера, пришло время определить его самостоятельно! Модуль torch.nn, импортированный как nn, позволяет сделать это всего в несколько строк кода.
Это упражнение является частью курса
Трансформерные модели с PyTorch
Инструкции к упражнению
- Определите трансформер с
8головами внимания,6слоями энкодера и декодера, а также эмбеддингами (векторными представлениями) входных последовательностей длиной1536. - Выведите объект модели, чтобы просмотреть её архитектуру.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Define the transformer model
model = ____
# Print the model object
print(____)