探索這個當今 AI 中最火熱的深度學習架構為何如此關鍵！了解構成 Transformer 模型的各個元件，包括著名論文「Attention is All You Need」中提出的自注意力機制。

使用 PyTorch 的 Transformers

拆解 Transformer

PyTorch Transformer

嵌入向量與位置編碼

建立輸入嵌入向量

建立位置編碼

多頭自我注意力（multi-head self-attention）

實作 multi-head attention

建立 MultiHeadAttentionClass 的起始結構

為 MultiHeadAttention 類別加入方法

Transformer 模型的基礎元件

設計 transformer 的 encoder 與 decoder 區塊，並結合 positional encoding、多頭注意力與位置式前饋網路，打造屬於你的 Transformer 架構。同時，你也會深入理解並欣賞 transformer 在內部如何實際運作。

Encoder Transformer

前饋子層

Encoder Transformer Layer

Encoder transformer 主體

加入 transformer head

Decoder Transformer

為自注意力設計遮罩

解碼器層

完成解碼器 Transformer

Encoder-decoder Transformer

在解碼器層加入交叉注意力

建構 Encoder-Decoder Transformer

恭喜你！

打造 Transformer 架構

深入探索 LLM，了解 transformer 架構如何徹底改變深度學習並催生生成式 AI 浪潮！在這門課中，你將從零開始，逐一打造自己的 transformer 架構。你會學到如何編碼權杖位置、計算注意力機制，並組裝模組化的 transformer 元件，以更靈活地掌控模型內部運作。從入門邁向 LLM 達人，就從今天開始！

<h2>深入探討 Transformer 架構</h2>
Transformer 模型徹底改變了文本建模，推動了生成式 AI 的興起，並促成了現今大型語言模型（LLM）的誕生。 在本課程中，您將深入了解此架構中的關鍵組成部分，包括位置編碼、注意力機制以及前饋子層。 你將以模組化的方式編寫這些元件，逐步建立屬於自己的 transformer。<br><br><h2>使用 PyTorch 實作 Attention 機制</h2>
注意力機制是一項關鍵的發展，促使 transformer 架構得以正式確立。 自注意力機制讓transformers能更有效地辨識各個token之間的關聯性，進而提升生成文本的品質。 學習如何建立一個多頭注意力機制類別，這將成為您 transformer 模型中的關鍵組件。<br><br><h2>打造專屬於你的 Transformer 模型</h2>
學習如何建立僅有編碼器、僅有解碼器，以及編碼器-解碼器的 transformer 模型。 學習如何為不同語言任務選擇並編寫這些不同的 transformer 架構，包括文本分類與情感分析、文本生成與補全，以及序列到序列的翻譯。

Natural Language Processing (NLP) in Python

Intermediate Deep Learning with PyTorch

什麼讓LLM運作？了解變壓器如何革新文本建模並引發生成式AI熱潮。

Transformer Models with PyTorch

深入了解LLMs的運作原理 掌握transformers如何革新文本建模，並引領生成式AI浪潮。

嵌入向量與位置編碼

Create Your Free Account