對應 tokenization
現在你想要更進一步控制 tokenization，並嘗試以列或批次的方式進行。這樣也會回傳一個 DataSet 物件，這是之後訓練所需要的。
已經為你載入了 tokenizer，同時提供 train_data 與 test_data。
本練習屬於課程
Python 的 LLM 入門
動手互動練習
試著完成這個範例程式碼，體驗一下這個練習。
# Complete the function
def tokenize_function(data):
return tokenizer(data["interaction"],
____,
padding=True,
____,
max_length=64)
tokenized_in_batches = ____