Faire la correspondance de la tokenisation
Vous souhaitez maintenant tester un contrôle plus fin de la tokenisation et essayer de tokeniser les données par lignes ou par lots. Cela vous donnera aussi un résultat sous forme d'objet DataSet, dont vous aurez besoin pour l'entraînement.
Le tokenizer a été chargé pour vous, ainsi que les données sous train_data et test_data.
Cette activité fait partie du cours
Introduction aux LLM avec Python
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Complete the function
def tokenize_function(data):
return tokenizer(data["interaction"],
____,
padding=True,
____,
max_length=64)
tokenized_in_batches = ____