Descoperă ce face din arhitectura transformer cel mai popular model de învățare profundă din AI! Află care sunt componentele care alcătuiesc modelele Transformer, inclusiv celebrele mecanisme de auto-atenție descrise în renumitul articol „Attention is All You Need".

Transformere cu PyTorch

Descompunerea arhitecturii Transformer

Încorporări și codificare pozițională

Crearea încorporărilor de intrare

Crearea encodărilor poziționale

Atenție multi-cap față de sine

Implementarea atenției multi-cap

Inițializarea clasei MultiHeadAttention

Adăugarea metodelor la clasa MultiHeadAttention

Elementele de bază ale modelelor Transformer

Proiectează blocuri encoder și decoder pentru transformer și combină-le cu codificarea pozițională, atenția multi-cap și rețelele feed-forward position-wise pentru a-ți construi propriile arhitecturi Transformer. Pe parcurs, vei dobândi o înțelegere profundă a modului în care funcționează transformer-ele pe interior.

Transformere de tip encoder

Substraturile feed-forward

Stratul encoder al transformerului

Corpul transformerului de tip encoder

Adăugarea capului transformerului

Transformere decoder

Crearea unei măști pentru auto-atenție

Stratul decoder

Completarea transformerului decoder

Transformere encoder-decoder

Adăugarea atenției încrucișate în stratul decoderului

Construirea transformerului encoder-decoder

Felicitări!

Construirea arhitecturilor Transformer

Aprofundează LLM-urile și descoperă cum arhitectura transformer a revoluționat învățarea profundă și a alimentat explozia de AI generativ! În acest curs, vei învăța să creezi propria arhitectură transformer de la zero, componentă cu componentă. Vei vedea cum să codifici pozițiile token-urilor, să efectuezi calcule ale mecanismului de atenție și să construiești componente modulare de transformer, câștigând astfel un control mai mare asupra funcționării interne a modelului. De la zero la expert în LLM-uri!

<h2>Explorare aprofundată a arhitecturii Transformer</h2>
Modelele Transformer au revoluționat modelarea textului, declanșând explozia AI generativă prin posibilitatea de a crea modelele lingvistice mari de astăzi (LLM-uri). În acest curs, vei analiza componentele cheie ale acestei arhitecturi, inclusiv codificarea pozițională, mecanismele de atenție și substraturile feed-forward. Vei programa aceste componente într-un mod modular pentru a-ți construi propriul transformer pas cu pas.<br><br><h2>Implementează mecanisme de atenție cu PyTorch</h2>
Mecanismul de atenție este o dezvoltare esențială care a contribuit la formalizarea arhitecturii transformer. Autoatenția permite transformatoarelor să identifice mai bine relațiile dintre tokenuri, ceea ce îmbunătățește calitatea textului generat. Învață cum să creezi o clasă pentru mecanismul de atenție multi-head, care va constitui o componentă esențială în modelele tale transformer.<br><br><h2>Construiește-ți propriile modele Transformer</h2>
Învață să construiești modele transformer doar cu encoder, doar cu decoder și encoder-decoder. Învață cum să alegi și să codezi aceste diferite arhitecturi transformer pentru diverse sarcini de limbaj, inclusiv clasificarea textului și analiza sentimentului, generarea și completarea textului, precum și traducerea secvență-la-secvență.

Natural Language Processing (NLP) in Python

Intermediate Deep Learning with PyTorch

Ce face LLM-urile să funcționeze? Află cum transformatoarele au revoluționat modelarea textului.

Modele Transformer cu PyTorch

Ce face ca LLM-urile să funcționeze? Descoperă cum transformerele au revoluționat modelarea textului și au declanșat boom-ul AI generativ.

Învățare profundă în Python

Dezvoltarea modelelor lingvistice mari

Implementarea atenției multi-cap

Modele Transformer cu PyTorch

Instrucțiuni pentru exercițiu

Exercițiu interactiv practic