Předzpracování textu pomocí AutoTokenizer

Vytváříš aplikaci pro precizní zemědělství, která farmářům umožní klást otázky k problémům, s nimiž se setkávají v terénu. Využiješ datovou sadu běžných otázek a odpovědí k situacím, které farmáři řeší. Datová sada obsahuje tato pole:

question: běžné zemědělské otázky
answers: odpovědi na zemědělské otázky

Jako první krok distribuovaného trénování začneš předzpracováním této textové datové sady.

Některá data jsou již připravena:

dataset obsahuje ukázkovou datovou sadu zemědělských otázek a odpovědí
AutoTokenizer byl importován z transformers

Toto cvičení je součástí kurzu

Efficient AI Model Training with PyTorch

Zobrazit kurz

Pokyny k cvičení

Načti předtrénovaný tokenizer.
Tokenizuj example["question"] pomocí tokenizeru.
Aplikuj funkci encode() na dataset.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Load a pre-trained tokenizer
tokenizer = ____.____("distilbert-base-uncased")

def encode(example):
    # Tokenize the "question" field of the training example
    return ____(____["____"], padding="max_length", truncation=True, return_tensors="pt")

# Map the function to the dataset
dataset = ____.____(____, batched=True)

dataset = dataset.map(lambda example: {"labels": example["answers"]}, batched=True)

print(dataset)

Upravit a spustit kód