Prétraiter du texte avec AutoTokenizer

Vous créez une application d’agriculture de précision qui permet aux agriculteurs de poser des questions sur les problèmes rencontrés sur le terrain. Vous utiliserez un jeu de données de questions et de réponses courantes liées aux enjeux des agriculteurs; les champs de ce jeu de données sont :

question : questions agricoles courantes
answers : réponses aux questions agricoles

Comme première étape de l’entraînement distribué, vous allez commencer par prétraiter ce jeu de données textuelles.

Certaines données ont été préchargées :

dataset contient un échantillon de questions et réponses agricoles
AutoTokenizer a été importé depuis transformers

Cette activité fait partie du cours

Entraînement efficace de modèles d’IA avec PyTorch

Voir le cours

Instructions de l’exercice

Chargez un tokenizer préentraîné.
Tokenisez example["question"] à l’aide du tokenizer.
Appliquez la fonction encode() à dataset.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Load a pre-trained tokenizer
tokenizer = ____.____("distilbert-base-uncased")

def encode(example):
    # Tokenize the "question" field of the training example
    return ____(____["____"], padding="max_length", truncation=True, return_tensors="pt")

# Map the function to the dataset
dataset = ____.____(____, batched=True)

dataset = dataset.map(lambda example: {"labels": example["answers"]}, batched=True)

print(dataset)

Modifier et exécuter le code