cvičení

Transformery v PyTorchi

Teď, když znáš jednotlivé komponenty architektury transformeru, je čas ji sestavit! Modul torch.nn, importovaný jako nn, nabízí elegantní způsob, jak to zvládnout na pár řádků kódu.

Pokyny

100 XP

Definuj transformer s 8 attention heads, 6 vrstvami enkodéru a dekodéru a vstupními embeddingy sekvencí o délce 1536.
Vypiš objekt modelu, aby ses podíval/a na jeho architekturu.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}cvičení

Pokyny

cvičení