Traducción de idiomas con un modelo de PyTorch preentrenado

Tu equipo en PyBooks está trabajando en un proyecto de IA que implica traducir de un idioma a otro. Quieren aprovechar modelos preentrenados para esta tarea, lo que puede ahorrar mucho tiempo de entrenamiento y recursos. En este ejercicio, tu tarea es configurar un modelo de traducción de la librería Transformers de HuggingFace, concretamente el modelo T5 (Text-To-Text Transfer Transformer), y usarlo para traducir una frase del inglés al francés.

T5Tokenizer, T5ForConditionalGeneration ya se han cargado por ti.

Este ejercicio forma parte del curso

Deep Learning para texto con PyTorch

Ver curso

Instrucciones del ejercicio

Inicializa el tokenizer y el model a partir del modelo preentrenado "t5-small".
Codifica el prompt de entrada usando el tokenizer, asegurándote de devolver tensores de PyTorch.
Traduce el prompt de entrada usando model y genera la salida traducida.

ejercicio interactivo práctico

Prueba este ejercicio completando este código de ejemplo.

# Initalize tokenizer and model
tokenizer = ____.from_pretrained("t5-small")
model = ____.from_pretrained("t5-small")

input_prompt = "translate English to French: 'Hello, how are you?'"

# Encode the input prompt using the tokenizer
input_ids = ____.____(input_prompt, return_tensors="____")

# Generate the translated ouput
output = model.____(input_ids, max_length=50)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print("Generated text:",generated_text)

Editar y ejecutar código