Zjisti, co pohání nejžhavější architekturu deep learningu v oblasti AI! Seznámíš se s komponentami transformerových modelů, včetně slavného mechanismu vlastní pozornosti popsaného v přelomovém článku „Attention is All You Need".

Transformery s PyTorch

Rozkládáme Transformer na části

Transformery v PyTorchi

Embedding a poziční kódování

Vytvoření vstupních embeddingů

Vytvoření pozičních kódování

Vícehlavá vlastní pozornost

Implementace multi-head attention

Začínáme s třídou MultiHeadAttention

Přidání metod do třídy MultiHeadAttention

Stavební bloky transformerových modelů

Navrhni enkodérové a dekodérové bloky transformeru a zkombinuj je s pozičním kódováním, vícehlavou pozorností a pozičními dopřednými sítěmi, aby vznikla tvoje vlastní transformerová architektura. Cestou získáš hluboké porozumění tomu, jak transformery fungují pod pokličkou.

Encoder transformery

Feed-forward podvrstvy

Vrstva encoderu transformeru

Tělo enkodérového transformeru

Přidání hlavy transformeru

Dekodérové transformery

Návrh masky pro self-attention

Vrstva dekodéru

Dokončení dekodérového transformeru

Encoder-decoder transformery

Přidání křížové pozornosti do vrstvy dekodéru

Sestavení enkodér-dekodér transformeru

Gratulujeme!

Tvorba transformerových architektur

Ponořte se hlouběji do světa velkých jazykových modelů a zjistěte, jak transformerová architektura změnila deep learning a odstartovala boom generativní AI! V tomto kurzu si krok za krokem vytvoříš vlastní transformerovou architekturu od základů. Naučíš se, jak kódovat pozice tokenů, provádět výpočty mechanismu pozornosti a stavět modulární komponenty transformeru, které ti dají plnou kontrolu nad jeho vnitřním fungováním. Vydej se na cestu od nuly k expertovi na velké jazykové modely ještě dnes!

<h2>Ponořte se do architektury Transformer</h2>
Transformátorové modely způsobily revoluci v modelování textu a odstartovaly boom generativní AI tím, že umožnily dnešní velké jazykové modely (LLM). V tomto kurzu se podíváš na klíčové komponenty této architektury, včetně pozičního kódování, mechanismů pozornosti a feed-forward podvrstev. Tyto komponenty budete programovat modulárně, abyste si krok za krokem vytvořili vlastní transformer.<br><br><h2>Implementujte mechanismy pozornosti v PyTorch</h2>
Mechanismus pozornosti je klíčovým vývojem, který pomohl formalizovat architekturu transformeru. Sebepozornost umožňuje transformerům lépe identifikovat vztahy mezi tokeny, což zlepšuje kvalitu generovaného textu. Naučte se vytvořit třídu mechanismu vícehlavé pozornosti, která bude klíčovým stavebním prvkem vašich transformerových modelů.<br><br><h2>Vytvořte si vlastní modely Transformer</h2>
Naučte se vytvářet modely transformerů typu encoder-only, decoder-only a encoder-decoder. Naučte se vybírat a programovat tyto různé architektury transformerů pro různé jazykové úlohy, včetně klasifikace textu a analýzy sentimentu, generování a doplňování textu a sekvenčního překladu.

Natural Language Processing (NLP) in Python

Intermediate Deep Learning with PyTorch

Co pohání LLM? Zjistěte, jak transformátory změnily modelování textu a odstartovaly boom AI.

Transformer Models with PyTorch

Co dělá LLMy tak, jak fungují? Zjistěte, jak transformery převrátily modelování textu a odstartovaly boom generativní AI.

Hluboké učení v Pythonu

Vývoj velkých jazykových modelů

Transformery v PyTorchi

Transformer Models with PyTorch

Pokyny k cvičení

Interaktivní cvičení na vyzkoušení si v praxi