Discover what makes the hottest deep learning architecture in AI tick! Learn about the components that make up Transformer models, including the famous self-attention mechanisms described in the renowned paper "Attention is All You Need."

Transformers with PyTorch

Breaking down the Transformer

PyTorch Transformers

Embedding and positional encoding

Creating input embeddings

Creating positional encodings

Multi-head self-attention

Implementing multi-head attention

Starting the MultiHeadAttentionClass

Adding methods to the MultiHeadAttention class

The Building Blocks of Transformer Models

Design transformer encoder and decoder blocks, and combine them with positional encoding, multi-headed attention, and position-wise feed-forward networks to build your very own Transformer architectures. Along the way, you'll develop a deep understanding and appreciation for how transformers work under the hood.

Transformer encoder

Sublayer feed-forward

Lapisan transformer encoder

Rangka utama encoder transformer

Menambahkan transformer head

Transformer decoder

Merancang mask untuk self-attention

Lapisan decoder

Menyelesaikan decoder transformer

Transformer encoder–decoder

Menambahkan cross-attention ke layer decoder

Menyusun transformer encoder-decoder

Selamat!

Building Transformer Architectures

Gali lebih dalam tentang LLM dan temukan bagaimana arsitektur transformer merevolusi deep learning serta memicu ledakan AI generatif! Dalam kursus ini, Anda akan belajar membangun arsitektur transformer sendiri dari nol, komponen demi komponen. Anda akan mempelajari cara mengenkode posisi token, melakukan perhitungan mekanisme attention, dan membangun komponen transformer modular agar Anda memiliki kendali lebih besar atas cara kerja internal transformer Anda. Beranjak dari pemula menjadi ahli LLM hari ini!

<h2>Penjelajahan Mendalam tentang Arsitektur Transformer</h2>
Model transformer telah merevolusi pemodelan teks, memicu ledakan kecerdasan buatan generatif dengan memfasilitasi pengembangan model bahasa besar (LLMs) yang ada saat ini. Dalam kursus ini, Anda akan mempelajari komponen-komponen utama dalam arsitektur ini, termasuk positional encoding, mekanisme perhatian, dan lapisan feed-forward. Anda akan mengkodekan komponen-komponen ini secara modular untuk membangun transformator Anda sendiri secara bertahap.<br><br><h2>Implementasikan Mekanisme Perhatian dengan PyTorch</h2>
Mekanisme perhatian merupakan perkembangan kunci yang membantu mengformalkan arsitektur transformer. Self-attention memungkinkan transformers untuk lebih baik mengidentifikasi hubungan antara token, yang meningkatkan kualitas teks yang dihasilkan. Pelajari cara membuat kelas mekanisme perhatian multi-head yang akan menjadi blok bangunan kunci dalam model transformer Anda.<br><br><h2>Bangun Model Transformer Anda Sendiri</h2>
Pelajari cara membangun model transformer yang hanya menggunakan encoder, hanya menggunakan decoder, dan model transformer encoder-decoder. Pelajari cara memilih dan mengimplementasikan arsitektur transformer yang berbeda untuk tugas-tugas bahasa yang berbeda, termasuk klasifikasi teks dan analisis sentimen, generasi dan penyelesaian teks, serta terjemahan urutan-ke-urutan.

Deep Learning for Text with PyTorch

Apa yang membuat LLM bekerja? Temukan bagaimana transformer merevolusi pemodelan teks dan memulai AI generatif.

Model Transformer dengan PyTorch

Apa yang membuat LLMs begitu istimewa? Temukan bagaimana transformers merevolusi pemodelan teks dan memicu ledakan kecerdasan buatan generatif.

Pembelajaran Mendalam dalam Python

Pengembangan Model Bahasa Besar

Menambahkan transformer head

Model Transformer dengan PyTorch

Latihan interaktif praktis