Temukan apa yang membuat arsitektur deep learning terpanas di AI ini begitu ampuh! Pelajari komponen yang membentuk model Transformer, termasuk mekanisme self-attention terkenal yang dijelaskan dalam makalah ternama "Attention is All You Need."

Transformer dengan PyTorch

Membongkar Transformer

Transformer di PyTorch

Embedding dan pengodean posisi

Membuat input embedding

Membuat positional encoding

Self-attention multi-kepala

Menerapkan multi-head attention

Memulai MultiHeadAttentionClass

Menambahkan metode ke kelas MultiHeadAttention

Komponen Penyusun Model Transformer

Rancang blok encoder dan decoder transformer, lalu gabungkan dengan positional encoding, multi-headed attention, dan position-wise feed-forward networks untuk membangun arsitektur Transformer Anda sendiri. Sepanjang proses, Anda akan mengembangkan pemahaman mendalam dan apresiasi terhadap cara kerja transformer di balik layar.

Transformer encoder

Sublayer feed-forward

Lapisan transformer encoder

Rangka utama encoder transformer

Menambahkan transformer head

Transformer decoder

Merancang mask untuk self-attention

Lapisan decoder

Menyelesaikan decoder transformer

Transformer encoder–decoder

Menambahkan cross-attention ke layer decoder

Menyusun transformer encoder-decoder

Selamat!

Membangun Arsitektur Transformer

Gali lebih dalam tentang LLM dan temukan bagaimana arsitektur transformer merevolusi deep learning serta memicu ledakan AI generatif! Dalam kursus ini, Anda akan belajar membangun arsitektur transformer sendiri dari nol, komponen demi komponen. Anda akan mempelajari cara mengenkode posisi token, melakukan perhitungan mekanisme attention, dan membangun komponen transformer modular agar Anda memiliki kendali lebih besar atas cara kerja internal transformer Anda. Beranjak dari pemula menjadi ahli LLM hari ini!

<h2>Penjelajahan Mendalam tentang Arsitektur Transformer</h2>
Model transformer telah merevolusi pemodelan teks, memicu ledakan kecerdasan buatan generatif dengan memfasilitasi pengembangan model bahasa besar (LLMs) yang ada saat ini. Dalam kursus ini, Anda akan mempelajari komponen-komponen utama dalam arsitektur ini, termasuk positional encoding, mekanisme perhatian, dan lapisan feed-forward. Anda akan mengkodekan komponen-komponen ini secara modular untuk membangun transformator Anda sendiri secara bertahap.<br><br><h2>Implementasikan Mekanisme Perhatian dengan PyTorch</h2>
Mekanisme perhatian merupakan perkembangan kunci yang membantu mengformalkan arsitektur transformer. Self-attention memungkinkan transformers untuk lebih baik mengidentifikasi hubungan antara token, yang meningkatkan kualitas teks yang dihasilkan. Pelajari cara membuat kelas mekanisme perhatian multi-head yang akan menjadi blok bangunan kunci dalam model transformer Anda.<br><br><h2>Bangun Model Transformer Anda Sendiri</h2>
Pelajari cara membangun model transformer yang hanya menggunakan encoder, hanya menggunakan decoder, dan model transformer encoder-decoder. Pelajari cara memilih dan mengimplementasikan arsitektur transformer yang berbeda untuk tugas-tugas bahasa yang berbeda, termasuk klasifikasi teks dan analisis sentimen, generasi dan penyelesaian teks, serta terjemahan urutan-ke-urutan.

Deep Learning for Text with PyTorch

Apa yang membuat LLM bekerja? Temukan bagaimana transformer merevolusi pemodelan teks dan memulai AI generatif.

Model Transformer dengan PyTorch

Apa yang membuat LLMs begitu istimewa? Temukan bagaimana transformers merevolusi pemodelan teks dan memicu ledakan kecerdasan buatan generatif.

Pembelajaran Mendalam dalam Python

Pengembangan Model Bahasa Besar

Transformer di PyTorch

Model Transformer dengan PyTorch

Instruksi latihan

Latihan interaktif langsung praktik