文本分词
在本练习中，您将使用 flickr 数据集（包含 30,000 张图像及其对应的字幕）对文本执行预处理操作。这是让模型用于文本分类等任务所必需的步骤。对于多模态应用尤为有用，例如使用 Hugging Face 模型来检查某张图像的字幕是否合适。
数据集（dataset）已加载，且已导入 AutoTokenizer。
本练习是课程的一部分
使用 Hugging Face 的多模态模型
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Load the first caption from the image at index 5
text = dataset[5]["____"][0]
print(text)