你將把資料分散到多個裝置，並在每個裝置上複製模型，以便進行分散式訓練。Accelerator 提供了便利的資料準備介面，你會先學會如何前處理影像、音訊與文字，作為分散式訓練的第一步。

使用 AutoModel 與 Accelerator 準備模型

載入並檢視預先訓練的模型

使用 Accelerator 自動放置裝置

為訓練預處理影像與音訊

前處理影像資料集

前處理音訊資料集

為分散式訓練準備資料集

為訓練預處理文字

使用 AutoTokenizer 前處理文字

儲存與載入前處理文字的狀態

使用 Accelerator 進行資料準備

在分散式訓練中，每個裝置會並行地使用各自的資料進行訓練。你將探討兩種分散式訓練方法：使用 Accelerator 建立自訂訓練迴圈，以及用 Trainer 簡化訓練介面。

使用 Trainer 微調模型

定義評估指標

設定 TrainingArguments

設定 Trainer

使用 Accelerator 訓練模型

為分散式訓練準備模型

使用 Accelerator 前後的訓練迴圈

使用 Accelerator 建立訓練迴圈

使用 Accelerator 評估模型

將模型設為評估模式

記錄評估指標

使用 Accelerator 與 Trainer 的分散式訓練

大型模型與資料集會使分散式訓練對資源造成壓力，但你可以透過改善記憶體使用、裝置間通訊與計算效率來因應這些挑戰。你將學會梯度累積、梯度檢查點、在地隨機梯度下降（local SGD），以及混合精度訓練等技巧。

梯度累積

使用 Accelerator 進行梯度累積

搭配 Trainer 的梯度累積

Gradient checkpointing 與 local SGD

結合 Accelerator 的梯度檢查點

使用 Trainer 的梯度檢查點

使用 Accelerator 的 Local SGD

混合精度訓練

使用基本 PyTorch 的混合精度訓練

使用 Accelerator 進行混合精度訓練

使用 Trainer 進行混合精度訓練

提升訓練效率

你將把重點放在最佳化器，作為提升分散式訓練效率的槓桿，並比較 AdamW、Adafactor 與 8-bit Adam 的取捨。減少參數量或使用低精度都有助於降低模型的記憶體佔用。

使用 AdamW 的平衡訓練

在 Trainer 中使用 AdamW

使用 Accelerator 的 AdamW

計算最佳化器的大小

使用 Adafactor 進行記憶體高效訓練

使用 Trainer 的 Adafactor

使用 Accelerator 的 Adafactor

使用 8-bit Adam 的混合精度訓練

設定 8-bit Adam 最佳化器

使用 Trainer 的 8-bit Adam

使用 Accelerator 的 8-bit Adam

選項

AdamW

Adafactor

8-bit Adam

是哪一個最佳化器？

恭喜你！

使用高效最佳化器進行訓練

Audio dataset

Crop image

Agricultural QA dataset

MRPC dataset

想讓你的機器學習模型在更短時間內完成訓練嗎？分散式訓練能在多個裝置上同時訓練模型，讓你擴展 AI 專案並縮短訓練時間。在本課程中，你將學會使用 Hugging Face Accelerator 函式庫與 PyTorch，將模型準備好在你的裝置上進行分散式訓練。你會探索資料分片、模型複製與參數同步，並透過實作把這些技巧應用到實務流程中，無論是影像、文字，或是音訊模型。

分散式訓練是大規模機器學習中不可或缺的技能，能協助您縮短訓練擁有數兆參數的大型語言模型所需的時間。 在本課程中，您將深入探索使用 PyTorch、Accelerator 和 Trainer 進行高效分散式訓練所需的重要工具、技術與策略。 
<h2>為分散式訓練準備資料</h2>
您將從準備分散式訓練的資料開始，將資料集分割到多個裝置，並在每個裝置上部署模型副本。 您將獲得在分散式環境中處理資料的實作經驗，涵蓋影像、音訊及文字等資料的前處理。
<h2>探索效率提升技巧</h2>
當您的資料準備好後，您將學習如何在多種介面中提升訓練與優化器使用的效率。 您將學習如何透過漸進式累積梯度、梯度檢查點、本地隨機梯度下降以及混合精度訓練等技術，提升記憶體使用效率、裝置間通訊能力與運算效能，從而有效解決這些挑戰。 您將了解不同最佳化器之間的權衡，協助您降低模型的記憶體佔用。

在本課程結束時，您將具備建構分散式 AI 驅動服務所需的知識與工具。

Intermediate Deep Learning with PyTorch

Working with Hugging Face

使用加速器和訓練器進行分布式訓練，縮短大型語言模型的訓練時間。

使用 PyTorch 高效訓練 AI 模型

掌握使用 Accelerator 和 Trainer 進行分散式訓練，有效縮短大型語言模型的訓練時間

以高精度計算梯度與平方梯度的指數移動平均

訓練模型時常見的預設最佳化器

只儲存平方梯度的指數移動平均

在最佳化過程中減少需儲存的參數數量，但仍使用高精度

以低精度計算梯度與平方梯度的指數移動平均

每個參數僅儲存 2 位元組，約為 AdamW 的四分之一大小

是哪一個最佳化器？

使用 PyTorch 高效訓練 AI 模型

動手互動練習