З'ясуйте, завдяки чому працює найпопулярніша архітектура глибокого навчання у ШІ! Розберіться з компонентами, з яких складаються моделі Transformer, зокрема з відомими механізмами самоуваги, описаними в знаковій статті «Attention is All You Need».

Transformers з PyTorch

Розбираємо Transformer на складові

Трансформери в PyTorch

Embedding та позиційне кодування

Створення вхідних вкладень

Створення позиційних кодувань

Багатоголова самоувага (multi-head self-attention)

Реалізація multi-head attention

Початок роботи з MultiHeadAttentionClass

Додавання методів до класу MultiHeadAttention

Будівельні блоки моделей Transformer

Спроєктуйте блоки енкодера й декодера Transformer та поєднайте їх із позиційним кодуванням, багатоголовою увагою і покроковими (position-wise) повнозв'язними мережами, щоб зібрати власні архітектури Transformer. Паралельно ви глибоко зрозумієте, як трансформери працюють „під капотом".

Енкодерні трансформери

Підшари feed-forward

Шар encoder-трансформера

Основна частина трансформера-енкодера

Додавання голови трансформера

Декодерні трансформери

Створення маски для self-attention

Шар декодера

Завершення декодера трансформера

Трансформери типу encoder–decoder

Додавання перехресної уваги до шару декодера

Побудова енкодер-декодер трансформера

Вітаємо!

Побудова архітектур Transformer

Зануртеся глибше в LLM і дізнайтеся, як архітектура Transformer докорінно змінила глибоке навчання та дала поштовх буму генеративного ШІ! У цьому курсі ви навчитеся створювати власну архітектуру Transformer з нуля, крок за кроком, з окремих компонентів. Ви дізнаєтеся, як кодувати позиції токенів, обчислювати механізм уваги та будувати модульні компоненти Transformer, щоб краще керувати внутрішньою логікою вашої моделі. Від нуля до героя LLM — уже сьогодні!

<h2>Поглибте знання архітектури Transformer</h2>
Моделі Transformer революціонізували моделювання тексту, започаткувавши бум генеративного ШІ завдяки створенню сучасних великих мовних моделей (LLM). У цьому курсі ви розглянете ключові компоненти цієї архітектури, зокрема позиційне кодування, механізми уваги та підшари прямого поширення. Ви кодуватимете ці компоненти модульно, щоб крок за кроком створити власний трансформер.<br><br><h2>Реалізуйте механізми уваги за допомогою PyTorch</h2>
Механізм уваги — це ключова розробка, яка допомогла формалізувати архітектуру трансформера. Самоувага дозволяє трансформерам краще визначати зв’язки між токенами, що підвищує якість згенерованого тексту. Дізнайтеся, як створити клас механізму багатоголової уваги, який стане ключовим будівельним блоком у ваших моделях transformer.<br><br><h2>Створюйте власні моделі Transformer</h2>
Навчіться створювати трансформерні моделі лише з енкодером, лише з декодером та з енкодером-декодером. Дізнайтеся, як обирати та програмувати ці різні архітектури трансформерів для різних мовних завдань, зокрема класифікації тексту та аналізу тональності, генерації та доповнення тексту, а також перекладу послідовність-у-послідовність.

Natural Language Processing (NLP) in Python

Intermediate Deep Learning with PyTorch

Що змушує LLM працювати? Дізнайтеся, як трансформери змінили моделювання тексту та почали бум AI.

Моделі Transformer з PyTorch

Що змушує LLM працювати? Дізнайтеся, як трансформери революціонізували моделювання тексту та дали старт буму генеративного ШІ.

Глибинне навчання в Python

Розробка великих мовних моделей

Розбираємо Transformer на складові

Моделі Transformer з PyTorch

Практична інтерактивна вправа