Scopri cosa rende così potente l'architettura di deep learning più in voga nell'AI! Esplora i componenti che costituiscono i modelli Transformer, inclusi i celebri meccanismi di self-attention descritti nel rinomato articolo "Attention is All You Need."

Transformer con PyTorch

Scomporre il Transformer

Transformer in PyTorch

Embedding e codifica posizionale

Creare gli embedding di input

Creare le codifiche posizionali

Self-attention multi-testa

Implementare la multi-head attention

Avviare la classe MultiHeadAttention

Aggiungere metodi alla classe MultiHeadAttention

I mattoni fondamentali dei modelli Transformer

Progetta blocchi encoder e decoder dei transformer e combinagli con positional encoding, multi-headed attention e reti feed-forward position-wise per costruire le tue architetture Transformer. Lungo il percorso svilupperai una comprensione profonda e un vero apprezzamento di come i transformer funzionano sotto il cofano.

Transformer encoder

Sotto-livelli feed-forward

Il layer encoder transformer

Il corpo dell'encoder transformer

Aggiungere la testa del transformer

Transformer decoder

Progettare una maschera per la self-attention

Il layer del decoder

Completare il transformer decoder

Transformer encoder-decoder

Aggiungere la cross-attention al layer del decoder

Costruire il transformer encoder-decoder

Congratulazioni!

Costruire architetture Transformer

Approfondisci gli LLM e scopri come l'architettura transformer ha rivoluzionato il deep learning e dato il via al boom della generative AI! In questo corso imparerai a creare la tua architettura transformer da zero, componente per componente. Vedrai come codificare le posizioni dei token, calcolare i meccanismi di attention e costruire componenti transformer modulari per avere un controllo più fine sul funzionamento interno del tuo transformer. Passa da principiante a LLM hero già da oggi!

<h2>Approfondimento sull'architettura Transformer</h2>
I modelli Transformer hanno cambiato il modo di modellare il testo, dando il via al boom dell'IA generativa e rendendo possibili i grandi modelli linguistici (LLM) di oggi. In questo corso vedrai i componenti chiave di questa architettura, come la codifica posizionale, i meccanismi di attenzione e i sottolivelli feed-forward. Scriverai il codice di questi componenti in modo modulare per costruire il tuo trasformatore passo dopo passo.<br><br><h2>Implementare meccanismi di attenzione con PyTorch</h2>
Il meccanismo di attenzione è una cosa importante che ha aiutato a mettere a punto l'architettura del trasformatore. L'auto-attenzione permette ai trasformatori di capire meglio le relazioni tra i token, migliorando così la qualità del testo che viene generato. Scopri come creare una classe di meccanismi di attenzione multi-head che sarà un pezzo fondamentale nei tuoi modelli di trasformatori.<br><br><h2>Costruisci i tuoi modelli di Transformers</h2>
Impara a costruire modelli di trasformatori solo codificatori, solo decodificatori e codificatori-decodificatori. Scopri come scegliere e programmare queste diverse architetture di trasformatori per vari compiti linguistici, come la classificazione dei testi e l'analisi del sentiment, la generazione e il completamento dei testi e la traduzione da sequenza a sequenza.

Deep Learning for Text with PyTorch

Cosa rende unici gli LLM? Scopri come i transformer hanno rivoluzionato il testo e avviato l'AI generativa.

Modelli Transformer con PyTorch

Cosa rende speciali gli LLM? Scopri come i trasformatori hanno cambiato il modo di modellare il testo e dato il via al boom dell'IA generativa.

Apprendimento profondo in Python

Sviluppare modelli linguistici di grandi dimensioni

Scomporre il Transformer

Modelli Transformer con PyTorch

esercizio interattivo pratico