Discover what makes the hottest deep learning architecture in AI tick! Learn about the components that make up Transformer models, including the famous self-attention mechanisms described in the renowned paper "Attention is All You Need."

Transformers with PyTorch

Breaking down the Transformer

PyTorch Transformers

Embedding and positional encoding

Creating input embeddings

Creating positional encodings

Multi-head self-attention

Implementing multi-head attention

Starting the MultiHeadAttentionClass

Adding methods to the MultiHeadAttention class

The Building Blocks of Transformer Models

Design transformer encoder and decoder blocks, and combine them with positional encoding, multi-headed attention, and position-wise feed-forward networks to build your very own Transformer architectures. Along the way, you'll develop a deep understanding and appreciation for how transformers work under the hood.

Transformer encoder

Sotto-livelli feed-forward

Il layer encoder transformer

Il corpo dell'encoder transformer

Aggiungere la testa del transformer

Transformer decoder

Progettare una maschera per la self-attention

Il layer del decoder

Completare il transformer decoder

Transformer encoder-decoder

Aggiungere la cross-attention al layer del decoder

Costruire il transformer encoder-decoder

Congratulazioni!

Building Transformer Architectures

Approfondisci gli LLM e scopri come l'architettura transformer ha rivoluzionato il deep learning e dato il via al boom della generative AI! In questo corso imparerai a creare la tua architettura transformer da zero, componente per componente. Vedrai come codificare le posizioni dei token, calcolare i meccanismi di attention e costruire componenti transformer modulari per avere un controllo più fine sul funzionamento interno del tuo transformer. Passa da principiante a LLM hero già da oggi!

<h2>Approfondimento sull'architettura Transformer</h2>
I modelli Transformer hanno cambiato il modo di modellare il testo, dando il via al boom dell'IA generativa e rendendo possibili i grandi modelli linguistici (LLM) di oggi. In questo corso vedrai i componenti chiave di questa architettura, come la codifica posizionale, i meccanismi di attenzione e i sottolivelli feed-forward. Scriverai il codice di questi componenti in modo modulare per costruire il tuo trasformatore passo dopo passo.<br><br><h2>Implementare meccanismi di attenzione con PyTorch</h2>
Il meccanismo di attenzione è una cosa importante che ha aiutato a mettere a punto l'architettura del trasformatore. L'auto-attenzione permette ai trasformatori di capire meglio le relazioni tra i token, migliorando così la qualità del testo che viene generato. Scopri come creare una classe di meccanismi di attenzione multi-head che sarà un pezzo fondamentale nei tuoi modelli di trasformatori.<br><br><h2>Costruisci i tuoi modelli di Transformers</h2>
Impara a costruire modelli di trasformatori solo codificatori, solo decodificatori e codificatori-decodificatori. Scopri come scegliere e programmare queste diverse architetture di trasformatori per vari compiti linguistici, come la classificazione dei testi e l'analisi del sentiment, la generazione e il completamento dei testi e la traduzione da sequenza a sequenza.

Deep Learning for Text with PyTorch

Cosa rende unici gli LLM? Scopri come i transformer hanno rivoluzionato il testo e avviato l'AI generativa.

Modelli Transformer con PyTorch

Cosa rende speciali gli LLM? Scopri come i trasformatori hanno cambiato il modo di modellare il testo e dato il via al boom dell'IA generativa.

Apprendimento profondo in Python

Sviluppare modelli linguistici di grandi dimensioni

Progettare una maschera per la self-attention

Modelli Transformer con PyTorch

Istruzioni dell'esercizio

Esercizio pratico interattivo