1. Apprendre
    2. /
  2. Cours
    3. /
  3. Travailler avec Hugging Face
Connected

Exercice

Tokeniser du texte avec AutoTokenizer

Les AutoTokenizer simplifient la préparation du texte en gérant automatiquement le nettoyage, la normalisation et la tokenisation. Ils s'assurent que le texte est traité exactement comme le modèle l'attend.

Dans cet exercice, découvrez comment AutoTokenizer transforme un texte en jetons prêts pour des tâches de Machine Learning.

Instructions

100 XP
  • Importez la classe requise depuis transformers, chargez le tokenizer avec la bonne méthode, et divisez le texte d'entrée en jetons.