您将通过将数据划分到多台设备并在每台设备上复制模型，为分布式训练做好数据准备。Accelerator 提供了便捷的数据准备接口，您将学习如何对图像、音频和文本进行预处理，作为分布式训练的第一步。

使用 AutoModel 和 Accelerator 准备模型

加载并检查预训练模型

使用 Accelerator 自动放置设备

为训练预处理图像与音频

预处理图像数据集

预处理音频数据集

为分布式训练准备数据集

为训练预处理文本

使用 AutoTokenizer 预处理文本

保存并加载预处理文本的状态

使用 Accelerator 进行数据准备

在分布式训练中，每台设备并行地训练各自的数据。您将研究两种分布式训练方法：Accelerator 支持自定义训练循环，而 Trainer 则提供更简化的训练接口。

使用 Trainer 微调模型

定义评估指标

指定 TrainingArguments

设置 Trainer

使用 Accelerator 训练模型

为分布式训练准备模型

使用 Accelerator 前后的训练循环

使用 Accelerator 构建训练循环

使用 Accelerator 评估模型

将模型切换为评估模式

记录评估指标

结合 Accelerator 与 Trainer 的分布式训练

大型模型和数据集会给分布式训练带来资源压力，但您可以通过改进内存使用、设备间通信和计算效率来应对这些挑战。您将学习梯度累积、梯度检查点、本地随机梯度下降以及混合精度训练等技术。

梯度累积

使用 Accelerator 进行梯度累积

结合 Trainer 的梯度累积

梯度检查点与本地 SGD

使用 Accelerator 进行梯度检查点

结合 Trainer 的梯度检查点

使用 Accelerator 的本地 SGD

混合精度训练

使用基础 PyTorch 进行混合精度训练

使用 Accelerator 的混合精度训练

使用 Trainer 的混合精度训练

提升训练效率

您将把优化器作为提升分布式训练效率的杠杆，比较 AdamW、Adafactor 和 8-bit Adam 之间的取舍。减少参数数量或使用低精度都有助于降低模型的内存占用。

使用 AdamW 的平衡训练

在 Trainer 中使用 AdamW

结合 Accelerator 的 AdamW

计算优化器大小

使用 Adafactor 进行内存高效训练

在 Trainer 中使用 Adafactor

结合 Accelerator 使用 Adafactor

使用 8-bit Adam 的混合精度训练

设置 8-bit Adam 优化器

结合 Trainer 使用 8-bit Adam

使用 Accelerator 的 8-bit Adam

选项

AdamW

Adafactor

8-bit Adam

这是哪种优化器？

恭喜您！

使用高效优化器训练

Audio dataset

Crop image

Agricultural QA dataset

MRPC dataset

想让您的机器学习模型用更短时间完成训练吗？分布式训练可以在多台设备上并行训练模型，从而扩展您的 AI 项目并缩短训练时间。在本课程中，您将学习如何使用 Hugging Face Accelerator 库和 PyTorch，在您的设备上为分布式训练准备模型。您将探索数据分片、模型复制和参数同步，并在图像、文本或音频模型等真实工作流中动手应用这些技术。

分布式训练是大规模机器学习中的一项关键技能，能够帮助您缩短训练拥有数万亿参数的大型语言模型所需的时间。 在本课程中，您将学习使用 PyTorch、Accelerator 和 Trainer 进行高效分布式训练所需的工具、技术与策略。 
<h2>为分布式训练准备数据</h2>
您将首先通过在多台设备之间拆分数据集，并在每台设备上部署模型副本，为分布式训练做好数据准备。 您将获得在分布式环境中对数据进行预处理的实践经验，涵盖图像、音频和文本等内容。
<h2>探索高效技巧</h2>
当您的数据准备就绪后，您将学习如何在多个界面中提升训练和优化器使用的效率。 您将学习如何通过提升内存利用率、设备间通信和计算效率，来应对这些挑战。课程将介绍诸如梯度累积、梯度检查点、本地随机梯度下降以及混合精度训练等技术。 您将了解不同优化器之间的权衡，从而帮助您减少模型的内存占用。

在本课程结束时，您将掌握构建分布式 AI 驱动服务所需的知识与工具。

Intermediate Deep Learning with PyTorch

Working with Hugging Face

使用Accelerator和Trainer进行分布式训练，减少大型语言模型的训练时间。

使用 PyTorch 高效训练 AI 模型

掌握使用 Accelerator 和 Trainer 进行分布式训练，加速大型语言模型的训练过程

以高精度计算梯度及其平方梯度的指数滑动平均

仅存储平方梯度的指数滑动平均

减少优化过程中需要存储的参数数量，但仍使用高精度

以低精度计算梯度及其平方梯度的指数滑动平均

每个参数存储 2 个字节，大小约为 AdamW 的四分之一

这是哪种优化器？

使用 PyTorch 高效训练 AI 模型

动手互动练习