Khám phá bí quyết phía sau kiến trúc deep learning hot nhất trong AI! Tìm hiểu các thành phần tạo nên mô hình Transformer, bao gồm cơ chế self-attention nổi tiếng được mô tả trong bài báo “Attention is All You Need” lừng danh.

Transformer với PyTorch

Tháo rời các thành phần của Transformer

Transformers trong PyTorch

Embedding và mã hóa vị trí

Tạo input embeddings

Tạo positional encodings

Self-attention đa đầu

Cài đặt multi-head attention

Bắt đầu với MultiHeadAttentionClass

Thêm các phương thức vào lớp MultiHeadAttention

Những khối xây dựng của mô hình Transformer

Thiết kế các khối encoder và decoder của transformer, rồi kết hợp chúng với positional encoding, multi-headed attention và mạng feed-forward theo vị trí để xây dựng kiến trúc Transformer của riêng bạn. Trong quá trình đó, bạn sẽ hiểu sâu và trân trọng cách transformer vận hành ở tầng bên dưới.

Transformer kiểu encoder

Các lớp con feed-forward

Lớp encoder transformer

Phần thân encoder transformer

Thêm phần đầu (head) cho transformer

Transformer decoder

Thiết kế mặt nạ cho self-attention

Lớp decoder

Hoàn thiện decoder transformer

Transformer encoder-decoder

Thêm cross-attention vào tầng decoder

Xây dựng transformer encoder–decoder

Chúc mừng bạn!

Xây dựng kiến trúc Transformer

Đào sâu vào LLMs và khám phá cách kiến trúc transformer đã cách mạng hóa deep learning và tạo đà cho bùng nổ generative AI! Trong khóa học này, bạn sẽ tự xây dựng kiến trúc transformer từ con số 0, từng thành phần một. Bạn sẽ học cách mã hóa vị trí token, thực hiện tính toán cơ chế attention, và dựng các thành phần transformer dạng mô-đun để bạn kiểm soát tốt hơn cách mô hình hoạt động bên trong. Bắt đầu từ số 0 và trở thành LLM hero ngay hôm nay!

<h2>Khám phá sâu kiến trúc Transformer</h2>
Các mô hình Transformer đã cách mạng hóa mô hình hóa văn bản, khởi động làn sóng AI tạo sinh bằng cách tạo nền tảng cho các mô hình ngôn ngữ lớn (LLMs) ngày nay. Trong khóa học này, bạn sẽ tìm hiểu các thành phần chính trong kiến trúc này, bao gồm mã hóa vị trí, cơ chế chú ý và các lớp con feed-forward. Bạn sẽ lập trình các thành phần này theo cách mô-đun để xây dựng transformer của riêng bạn từng bước một.<br><br><h2>Triển khai Cơ chế Chú ý với PyTorch</h2>
Cơ chế chú ý là một bước phát triển then chốt đã giúp chính thức hóa kiến trúc transformer. Tự chú ý cho phép các transformer xác định tốt hơn mối quan hệ giữa các token, từ đó cải thiện chất lượng văn bản được tạo ra. Tìm hiểu cách tạo một lớp cơ chế chú ý đa đầu sẽ trở thành một khối xây dựng quan trọng trong các mô hình transformer của bạn.<br><br><h2>Xây dựng mô hình Transformer của riêng bạn</h2>
Học cách xây dựng các mô hình transformer chỉ mã hóa, chỉ giải mã và mã hóa-giải mã. Tìm hiểu cách lựa chọn và lập trình các kiến trúc transformer khác nhau này cho các tác vụ ngôn ngữ khác nhau, bao gồm phân loại văn bản và phân tích cảm xúc, tạo và hoàn thành văn bản, cũng như dịch chuỗi sang chuỗi.

Natural Language Processing (NLP) in Python

Intermediate Deep Learning with PyTorch

Điều gì làm LLM hoạt động? Tìm hiểu cách transformers cách mạng hóa mô hình văn bản và khởi động AI sinh.

Các mô hình Transformer với PyTorch

Điều gì làm cho LLMs hoạt động? Khám phá cách transformer đã cách mạng hóa mô hình hóa văn bản và khởi động làn sóng bùng nổ AI tạo sinh.

Học sâu trong Python

Phát triển các mô hình ngôn ngữ quy mô lớn

Curriculum Manager, DataCamp

Embedding và mã hóa vị trí trong transformer

Embedding chuỗi

Tạo lớp embedding

Tạo embeddings

Mã hóa vị trí

Sin và cosine

Xây dựng bộ mã hóa vị trí

Tạo mã hóa vị trí

Ayo berlatih!

Những khối xây dựng của mô hình Transformer - Embedding và mã hóa vị trí

Embedding và mã hóa vị trí

Create Your Free Account