Початок роботи з MultiHeadAttentionClass

Тепер, коли ви визначили класи для створення токен-вкладень і позиційних вкладень, час оголосити клас для багатоголової уваги. Спочатку налаштуйте параметри, що використовуються для обчислення уваги, а також лінійні шари для перетворення вхідних вкладень у матриці запиту (query), ключа (key) і значення (value), і ще один шар для проєкції об'єднаних ваг уваги назад у вкладення.

torch.nn імпортовано як nn.