Tokenizar texto con AutoTokenizer
Los AutoTokenizers simplifican la preparación del texto al encargarse automáticamente de la limpieza, la normalización y la tokenización. Se aseguran de que el texto se procese tal y como el modelo lo espera.
En este ejercicio, explora cómo AutoTokenizer transforma el texto en tokens listos para tareas de Machine Learning.
Este ejercicio forma parte del curso
Trabajar con Hugging Face
Instrucciones del ejercicio
- Importa la clase necesaria de
transformers, carga el tokenizador usando el método correcto y divide el texto de entrada en tokens.
ejercicio interactivo práctico
Prueba este ejercicio completando este código de ejemplo.
# Import necessary library for tokenization
from transformers import ____
# Load the tokenizer
tokenizer = AutoTokenizer.____("distilbert-base-uncased-finetuned-sst-2-english")
# Split input text into tokens
tokens = tokenizer.____("AI: Making robots smarter and humans lazier!")
# Display the tokenized output
print(f"Tokenized output: {tokens}")