1. Apprendre
    2. /
  2. Cours
    3. /
  3. Reinforcement Learning from Human Feedback (RLHF)
Connected

Exercice

Tokeniser un ensemble de données textuelles

Vous faites de la recherche de marché pour un site de voyage et souhaitez utiliser un jeu de données existant pour peaufiner un modèle qui vous aidera à classifier des avis d'hôtels. Vous décidez d'utiliser la bibliothèque datasets.

La classe AutoTokenizer a été préimportée depuis transformers, et load_dataset() a été préimportée depuis datasets.

Instructions

100 XP
  • Ajoutez du remplissage au tokenizer pour traiter le texte en lots de taille égale.
  • Tokenisez les données textuelles à l'aide du tokenizer GPT préentraîné et de la fonction définie.