Discover what makes the hottest deep learning architecture in AI tick! Learn about the components that make up Transformer models, including the famous self-attention mechanisms described in the renowned paper "Attention is All You Need."

Transformer dengan PyTorch

Membongkar Transformer

Transformer di PyTorch

Embedding dan pengodean posisi

Membuat input embedding

Membuat positional encoding

Self-attention multi-kepala

Menerapkan multi-head attention

Memulai MultiHeadAttentionClass

Menambahkan metode ke kelas MultiHeadAttention

The Building Blocks of Transformer Models

Design transformer encoder and decoder blocks, and combine them with positional encoding, multi-headed attention, and position-wise feed-forward networks to build your very own Transformer architectures. Along the way, you'll develop a deep understanding and appreciation for how transformers work under the hood.

Encoder transformers

Feed-forward sublayers

The encoder transformer layer

The encoder transformer body

Adding the transformer head

Decoder transformers

Designing a mask for self-attention

The decoder layer

Completing the decoder transformer

Encoder-decoder transformers

Adding cross-attention to the decoder layer

Constructing the encoder-decoder transformer

Congratulations!

Building Transformer Architectures

Gali lebih dalam tentang LLM dan temukan bagaimana arsitektur transformer merevolusi deep learning serta memicu ledakan AI generatif! Dalam kursus ini, Anda akan belajar membangun arsitektur transformer sendiri dari nol, komponen demi komponen. Anda akan mempelajari cara mengenkode posisi token, melakukan perhitungan mekanisme attention, dan membangun komponen transformer modular agar Anda memiliki kendali lebih besar atas cara kerja internal transformer Anda. Beranjak dari pemula menjadi ahli LLM hari ini!

<h2>Penjelajahan Mendalam tentang Arsitektur Transformer</h2>
Model transformer telah merevolusi pemodelan teks, memicu ledakan kecerdasan buatan generatif dengan memfasilitasi pengembangan model bahasa besar (LLMs) yang ada saat ini. Dalam kursus ini, Anda akan mempelajari komponen-komponen utama dalam arsitektur ini, termasuk positional encoding, mekanisme perhatian, dan lapisan feed-forward. Anda akan mengkodekan komponen-komponen ini secara modular untuk membangun transformator Anda sendiri secara bertahap.<br><br><h2>Implementasikan Mekanisme Perhatian dengan PyTorch</h2>
Mekanisme perhatian merupakan perkembangan kunci yang membantu mengformalkan arsitektur transformer. Self-attention memungkinkan transformers untuk lebih baik mengidentifikasi hubungan antara token, yang meningkatkan kualitas teks yang dihasilkan. Pelajari cara membuat kelas mekanisme perhatian multi-head yang akan menjadi blok bangunan kunci dalam model transformer Anda.<br><br><h2>Bangun Model Transformer Anda Sendiri</h2>
Pelajari cara membangun model transformer yang hanya menggunakan encoder, hanya menggunakan decoder, dan model transformer encoder-decoder. Pelajari cara memilih dan mengimplementasikan arsitektur transformer yang berbeda untuk tugas-tugas bahasa yang berbeda, termasuk klasifikasi teks dan analisis sentimen, generasi dan penyelesaian teks, serta terjemahan urutan-ke-urutan.

Deep Learning for Text with PyTorch

Apa yang membuat LLM bekerja? Temukan bagaimana transformer merevolusi pemodelan teks dan memulai AI generatif.

Model Transformer dengan PyTorch

Apa yang membuat LLMs begitu istimewa? Temukan bagaimana transformers merevolusi pemodelan teks dan memicu ledakan kecerdasan buatan generatif.

Pembelajaran Mendalam dalam Python

Pengembangan Model Bahasa Besar

Menerapkan multi-head attention

Model Transformer dengan PyTorch

Petunjuk latihan

Latihan interaktif praktis