토크나이제이션 매핑
이제 토크나이제이션을 더 세밀하게 제어해 보고, 행 단위 또는 배치 단위로 데이터를 토크나이즈하는 방법을 시험해 보려고 합니다. 이렇게 하면 학습에 필요한 DataSet 객체 형태의 결과도 얻을 수 있어요.
tokenizer는 train_data와 test_data와 함께 미리 로드되어 있습니다.
이 연습은 강의의 일부입니다
Python으로 배우는 LLM 입문
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Complete the function
def tokenize_function(data):
return tokenizer(data["interaction"],
____,
padding=True,
____,
max_length=64)
tokenized_in_batches = ____