1. Learn
    2. /
  2. 课程
    3. /
  3. Python 中的 LLM 入门
Connected

道练习

文本分词

您希望利用 Hugging Face 的预训练模型，并用公司客服团队的数据进行微调，以根据流失风险来分类用户交互。这将帮助团队确定先处理哪些问题，以及如何处理，从而更具前瞻性。

通过对文本进行分词来准备用于微调的训练数据和测试数据。

AutoTokenizer 和 AutoModelForSequenceClassification 已为您加载。

说明

100 XP
  • 加载预训练模型和分词器，为微调做准备。
  • 对 train_data["interaction"] 和 test_data["interaction"] 都进行分词，并启用填充和序列截断。