1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. 使用 Hugging Face
Connected

Bài tập

使用 AutoTokenizer 进行文本分词

AutoTokenizer 可以自动完成清洗、规范化和分词，简化文本准备工作。它能确保文本的处理方式与模型的预期一致。

在本练习中，您将了解 AutoTokenizer 如何将文本转换为可用于机器学习任务的词元。

Hướng dẫn

100 XP
  • 导入 transformers 中所需的类，使用正确的方法加载分词器，并将输入文本切分为词元。