Kartlägg tokenisering
Nu vill du testa att ha mer kontroll över tokeniseringen och prova att tokenisera data rad för rad eller i batchar. Det ger dig även ett DataSet-objekt som du behöver för träningen.
tokenizer har laddats in åt dig tillsammans med datan som train_data och test_data.
Den här övningen är en del av kursen
Introduktion till LLM:er i Python
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Complete the function
def tokenize_function(data):
return tokenizer(data["interaction"],
____,
padding=True,
____,
max_length=64)
tokenized_in_batches = ____