了解这类最热门的 AI 深度学习架构为何如此高效！学习组成 Transformer 模型的关键组件，包括著名论文 "Attention is All You Need" 中描述的自注意力机制。

使用 PyTorch 构建 Transformers

拆解 Transformer

PyTorch Transformer

嵌入向量与位置编码

创建输入嵌入向量

创建位置编码

多头自注意力

实现多头注意力

开始编写 MultiHeadAttentionClass

为 MultiHeadAttention 类添加方法

Transformer 模型的构建基石

设计 Transformer 的编码器与解码器模块，并将它们与位置编码、多头注意力、以及逐位置前馈网络结合，构建您自己的 Transformer 架构。在此过程中，您将深入理解并更好地把握 Transformer 的底层工作原理。

编码器 Transformer

前馈子层

编码器 Transformer 层

编码器 Transformer 主体

添加 Transformer 头部

Decoder Transformer

为自注意力设计掩码

解码器层

完善解码器 Transformer

Encoder-decoder Transformers

为解码器层添加交叉注意力

构建编码器-解码器 Transformer

恭喜您！

构建 Transformer 架构

深入了解 LLM，并探索 Transformer 架构如何革新深度学习并推动生成式 AI 的兴起！在本课程中，您将从零开始逐步构建自己的 Transformer 架构，按组件逐一实现。您将学习如何编码标记位置、计算注意力机制，并构建模块化的 Transformer 组件，从而更好地掌控模型的内部工作原理。今天就从零起步，迈向 LLM 高手之路！

<h2>深入解析 Transformer 架构</h2>
Transformer 模型彻底革新了文本建模，通过赋能当今的大语言模型（LLMs），引爆了生成式 AI 热潮。 在本课程中，你将了解这一架构中的关键组件，包括位置编码、注意力机制和前馈子层。 你将以模块化的方式编写这些组件，逐步构建你自己的 transformer。<br><br><h2>使用 PyTorch 实现注意力机制</h2>
注意力机制是一项关键进展，它帮助将 Transformer 架构形式化。 自注意力使 Transformer 能更好地识别标记之间的关系，从而提升生成文本的质量。 学习如何创建一个多头注意力机制类，它将成为你 Transformer 模型中的关键构建模块。<br><br><h2>构建你自己的 Transformer 模型</h2>
学习构建仅编码器、仅解码器以及编码器-解码器 Transformer 模型。 了解如何为不同的语言任务选择并编写这些不同的 transformer 架构，包括文本分类和情感分析、文本生成和补全，以及序列到序列翻译。

Natural Language Processing (NLP) in Python

Intermediate Deep Learning with PyTorch

是什么让LLM运作？了解变压器如何革新文本建模并引发生成式AI热潮。

使用 PyTorch 的 Transformer 模型

LLM 的工作原理是什么？了解 transformer 如何革新文本建模并引爆生成式 AI 热潮。

深度学习 在 Python 中

开发大型语言模型

PyTorch Transformer

使用 PyTorch 的 Transformer 模型

练习说明

交互式实操练习