Відображення токенізації
Тепер ви хочете перевірити варіант із більшою керованістю токенізацією та спробувати токенізувати дані рядками або пакетами. Це також поверне об'єкт DataSet, який знадобиться вам для тренування.
tokenizer уже завантажено разом із даними як train_data та test_data.
Ця вправа є частиною курсу
Вступ до LLM у Python
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Complete the function
def tokenize_function(data):
return tokenizer(data["interaction"],
____,
padding=True,
____,
max_length=64)
tokenized_in_batches = ____