텍스트 토크나이징

Hugging Face의 사전 학습된 모델을 활용하고, 고객 이탈(churn) 위험에 따라 상호작용을 분류할 수 있도록 회사 지원팀의 데이터를 사용해 파인튜닝하려고 합니다. 이렇게 하면 팀이 무엇을 먼저, 그리고 어떻게 대응해야 할지 우선순위를 정해 보다 선제적으로 업무에 임할 수 있어요.

텍스트를 토크나이즈하여 파인튜닝에 사용할 학습/테스트 데이터를 준비하세요.

AutoTokenizer와 AutoModelForSequenceClassification은 이미 로드되어 있습니다.