本章將帶你認識文字深度學習及其應用。你會學習如何使用 PyTorch 進行文字處理，並親手實作分詞、詞幹提取、停用詞移除等技巧。理解為何需要對文字資料進行編碼，並用 PyTorch 實作各種編碼方法。最後，將這些技巧整合成一個文字處理流程（pipeline），鞏固你的理解。

文字前處理入門

詞頻分析

文字前處理

文字資料編碼

對書名進行 one-hot 編碼

書名的 Bag-of-Words

將 TF-IDF 應用到書籍描述

文字處理 pipeline 入門

莎士比亞語料的前處理 pipeline

莎士比亞風格語料的編碼器

使用 PyTorch 的文字深度學習導論

探索文字分類及其在自然語言處理（NLP）中的角色。動手實作詞嵌入，並使用 PyTorch 開發用於文字分類的卷積神經網路（CNN）與循環神經網路（RNN），同時理解如何用合適的評估指標來評估你的模型。

文字分類概觀

在 PyTorch 中使用 Embedding

文字分類任務的歸類

用於文本分類的卷積神經網路

建立用於文字的 CNN 模型

為文字訓練一個 CNN 模型

測試情感分析 CNN 模型

用於文字分類的循環神經網路

建立用於文本的 RNN 模型

建立用於文字的 LSTM 模型

建立用於文字的 GRU 模型

文字分類的評估指標

評估 RNN 分類模型

評估模型效能

模型比較

使用 PyTorch 的文字分類

走進文字生成的精彩世界與其在 NLP 中的應用。理解如何運用循環神經網路（RNN）、生成對抗網路（GAN）與預先訓練的模型，使用 PyTorch 完成文字生成任務。你也會學到如何使用相關指標來評估模型的表現。

文字生成導論

建立用於文字生成的 RNN 模型

使用 RNN 的文字生成——訓練與生成

用於文字生成的生成對抗網路

建立產生器與鑑別器

訓練 GAN 模型

用於文字生成的預訓練模型

使用預訓練 GPT-2 模型進行文字補全

使用預訓練 PyTorch 模型進行語言翻譯

文字生成的評估指標

評估預訓練的文字生成模型

理解文字生成評估指標

使用 PyTorch 的文字生成

理解遷移學習的概念及其在文字分類中的應用。探索 Transformer 的架構與原理，並了解如何將其用於文字分類與文字生成。你也會深入注意力機制及其在文字處理中的角色。最後，理解對抗式攻擊對文字分類模型的潛在影響，並學習如何保護你的模型。

用於文字分類的遷移學習

使用 BERT 進行遷移學習

評估 BERT 模型

用於文字處理的 Transformers

建立一個 transformer 模型

訓練與測試 Transformer 模型

文字處理的注意力機制

建立具備注意力機制的 RNN 模型

以注意力機制訓練與測試 RNN 模型

對文字分類模型的對抗式攻擊

選項

FGSM（Fast Gradient Sign Method）

PGD（Projected Gradient Descent）

C&W（Carlini and Wagner Attack）

對抗攻擊分類

在 PyBooks 保護 AI 安全

總結

文字深度學習進階主題（PyTorch）

Shakespeare Text

一起開啟以 PyTorch 處理文字的深度學習旅程。這門課會帶你培養解決各式文字任務的能力。你會學到以編碼與嵌入來處理文字的原理，並使用文字資料實作多種模型，包括 CNN、RNN、GAN，以及各種預先訓練的模型。最後，你還會深入進階主題，例如遷移學習技巧、注意力機制，以及如何保護模型免於對抗式攻擊。課程結束時，你將具備為文字打造強大深度學習模型的能力。

Intermediate Deep Learning with PyTorch

使用PyTorch探索深度學習文本的精彩世界，開啟自然語言處理和文本生成的新可能性。

Deep Learning for Text with PyTorch

深度學習 使用 Python

Instructor

為什麼用 transformers 做文字處理？

Transformer 的組成元件

準備資料：訓練／測試切分

建立 transformer 模型

訓練 transformers

使用 transformers 進行預測

對新文字進行預測

一起來練習吧！

文字深度學習進階主題（PyTorch） - 用於文字處理的 Transformers

用於文字處理的 Transformers

Create Your Free Account