Discover what makes the hottest deep learning architecture in AI tick! Learn about the components that make up Transformer models, including the famous self-attention mechanisms described in the renowned paper "Attention is All You Need."

Transformer con PyTorch

Scomporre il Transformer

Transformer in PyTorch

Embedding e codifica posizionale

Creare gli embedding di input

Creare le codifiche posizionali

Self-attention multi-testa

Implementare la multi-head attention

Avviare la classe MultiHeadAttention

Aggiungere metodi alla classe MultiHeadAttention

The Building Blocks of Transformer Models

Design transformer encoder and decoder blocks, and combine them with positional encoding, multi-headed attention, and position-wise feed-forward networks to build your very own Transformer architectures. Along the way, you'll develop a deep understanding and appreciation for how transformers work under the hood.

Encoder transformers

Feed-forward sublayers

The encoder transformer layer

The encoder transformer body

Adding the transformer head

Decoder transformers

Designing a mask for self-attention

The decoder layer

Completing the decoder transformer

Encoder-decoder transformers

Adding cross-attention to the decoder layer

Constructing the encoder-decoder transformer

Congratulations!

Building Transformer Architectures

Approfondisci gli LLM e scopri come l'architettura transformer ha rivoluzionato il deep learning e dato il via al boom della generative AI! In questo corso imparerai a creare la tua architettura transformer da zero, componente per componente. Vedrai come codificare le posizioni dei token, calcolare i meccanismi di attention e costruire componenti transformer modulari per avere un controllo più fine sul funzionamento interno del tuo transformer. Passa da principiante a LLM hero già da oggi!

<h2>Approfondimento sull'architettura Transformer</h2>
I modelli Transformer hanno cambiato il modo di modellare il testo, dando il via al boom dell'IA generativa e rendendo possibili i grandi modelli linguistici (LLM) di oggi. In questo corso vedrai i componenti chiave di questa architettura, come la codifica posizionale, i meccanismi di attenzione e i sottolivelli feed-forward. Scriverai il codice di questi componenti in modo modulare per costruire il tuo trasformatore passo dopo passo.<br><br><h2>Implementare meccanismi di attenzione con PyTorch</h2>
Il meccanismo di attenzione è una cosa importante che ha aiutato a mettere a punto l'architettura del trasformatore. L'auto-attenzione permette ai trasformatori di capire meglio le relazioni tra i token, migliorando così la qualità del testo che viene generato. Scopri come creare una classe di meccanismi di attenzione multi-head che sarà un pezzo fondamentale nei tuoi modelli di trasformatori.<br><br><h2>Costruisci i tuoi modelli di Transformers</h2>
Impara a costruire modelli di trasformatori solo codificatori, solo decodificatori e codificatori-decodificatori. Scopri come scegliere e programmare queste diverse architetture di trasformatori per vari compiti linguistici, come la classificazione dei testi e l'analisi del sentiment, la generazione e il completamento dei testi e la traduzione da sequenza a sequenza.

Deep Learning for Text with PyTorch

Cosa rende unici gli LLM? Scopri come i transformer hanno rivoluzionato il testo e avviato l'AI generativa.

Modelli Transformer con PyTorch

Cosa rende speciali gli LLM? Scopri come i trasformatori hanno cambiato il modo di modellare il testo e dato il via al boom dell'IA generativa.

Apprendimento profondo in Python

Sviluppare modelli linguistici di grandi dimensioni

Implementare la multi-head attention

Modelli Transformer con PyTorch

Istruzioni dell'esercizio

Esercizio pratico interattivo