1. 学习
    2. /
  2. 课程
    3. /
  3. Hugging Face 활용하기
Connected

练习

AutoTokenizer로 텍스트 토크나이징하기

AutoTokenizer는 정제, 정규화, 토크나이징을 자동으로 처리해 텍스트 준비 과정을 단순화해요. 이렇게 하면 모델이 기대하는 방식대로 텍스트가 처리되도록 보장합니다.

이 연습 문제에서는 AutoTokenizer가 텍스트를 Machine Learning 작업에 사용할 수 있는 토큰으로 어떻게 변환하는지 살펴보세요.

说明

100 XP
  • transformers에서 필요한 클래스를 import하고, 올바른 메서드로 토크나이저를 로드한 다음, 입력 텍스트를 토큰으로 분할하세요.