Применение токенизации
Теперь вы хотите получить больше контроля над процессом токенизации и попробовать токенизировать данные построчно или пакетами. В результате вы получите объект DataSet, который понадобится для обучения.
tokenizer уже загружен вместе с данными train_data и test_data.
Это упражнение является частью курса
Введение в LLM на Python
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Complete the function
def tokenize_function(data):
return tokenizer(data["interaction"],
____,
padding=True,
____,
max_length=64)
tokenized_in_batches = ____