Maparea tokenizării
Acum vrei să ai mai mult control asupra tokenizării și să încerci să tokenizezi datele pe rânduri sau în loturi. Astfel vei obține un obiect DataSet, de care ai nevoie pentru antrenament.
tokenizer-ul a fost încărcat pentru tine, împreună cu datele ca train_data și test_data.
Acest exercițiu face parte din cursul
Introducere în LLM-uri cu Python
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Complete the function
def tokenize_function(data):
return tokenizer(data["interaction"],
____,
padding=True,
____,
max_length=64)
tokenized_in_batches = ____