探索這個當今 AI 中最火熱的深度學習架構為何如此關鍵！了解構成 Transformer 模型的各個元件，包括著名論文「Attention is All You Need」中提出的自注意力機制。

使用 PyTorch 的 Transformers

拆解 Transformer

PyTorch Transformer

嵌入向量與位置編碼

建立輸入嵌入向量

建立位置編碼

多頭自我注意力（multi-head self-attention）

實作 multi-head attention

建立 MultiHeadAttentionClass 的起始結構

為 MultiHeadAttention 類別加入方法

Transformer 模型的基礎元件

設計 transformer 的 encoder 與 decoder 區塊，並結合 positional encoding、多頭注意力與位置式前饋網路，打造屬於你的 Transformer 架構。同時，你也會深入理解並欣賞 transformer 在內部如何實際運作。

Encoder Transformer

前饋子層

Encoder Transformer Layer

Encoder transformer 主體

加入 transformer head

Decoder Transformer

為自注意力設計遮罩

解碼器層

完成解碼器 Transformer

Encoder-decoder Transformer

在解碼器層加入交叉注意力

建構 Encoder-Decoder Transformer

恭喜你！

打造 Transformer 架構

深入探索 LLM，了解 transformer 架構如何徹底改變深度學習並催生生成式 AI 浪潮！在這門課中，你將從零開始，逐一打造自己的 transformer 架構。你會學到如何編碼權杖位置、計算注意力機制，並組裝模組化的 transformer 元件，以更靈活地掌控模型內部運作。從入門邁向 LLM 達人，就從今天開始！

<h2>深入探討 Transformer 架構</h2>
Transformer 模型徹底改變了文本建模，推動了生成式 AI 的興起，並促成了現今大型語言模型（LLM）的誕生。 在本課程中，您將深入了解此架構中的關鍵組成部分，包括位置編碼、注意力機制以及前饋子層。 你將以模組化的方式編寫這些元件，逐步建立屬於自己的 transformer。<br><br><h2>使用 PyTorch 實作 Attention 機制</h2>
注意力機制是一項關鍵的發展，促使 transformer 架構得以正式確立。 自注意力機制讓transformers能更有效地辨識各個token之間的關聯性，進而提升生成文本的品質。 學習如何建立一個多頭注意力機制類別，這將成為您 transformer 模型中的關鍵組件。<br><br><h2>打造專屬於你的 Transformer 模型</h2>
學習如何建立僅有編碼器、僅有解碼器，以及編碼器-解碼器的 transformer 模型。 學習如何為不同語言任務選擇並編寫這些不同的 transformer 架構，包括文本分類與情感分析、文本生成與補全，以及序列到序列的翻譯。

Natural Language Processing (NLP) in Python

Intermediate Deep Learning with PyTorch

什麼讓LLM運作？了解變壓器如何革新文本建模並引發生成式AI熱潮。

Transformer Models with PyTorch

深入了解LLMs的運作原理 掌握transformers如何革新文本建模，並引領生成式AI浪潮。

深度學習 使用 Python

大語言模型開發之旅

PyTorch Transformer

Transformer Models with PyTorch

練習說明

動手互動練習