ComenzarEmpieza gratis

Generación de texto con RLHF

En este ejercicio, trabajarás con un modelo preentrenado con RLHF llamado lvwerra/gpt2-imdb-pos-v2. Este ejercicio es una oportunidad para repasar cómo construir una pipeline de Hugging Face y usarla para probar un caso de uso de los modelos entrenados con RLHF: generar reseñas de películas.

Los objetos pipeline, AutoModelForCausalLM, and AutoTokenizer se han preimportado desde transformers. El tokenizer ya está precargado

Este ejercicio forma parte del curso

Reinforcement Learning from Human Feedback (RLHF)

Ver curso

Instrucciones del ejercicio

  • Establece el nombre del modelo en lvwerra/gpt2-imdb-pos-v2, el modelo preentrenado con RLHF.
  • Usa la función pipeline para crear una pipeline de text-generation.
  • Usa la pipeline de generación de texto para generar una continuación de la reseña proporcionada.

Ejercicio interactivo práctico

Prueba este ejercicio y completa el código de muestra.

# Set the model name
model_name = ____
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# Create a text generation pipeline
text_generator = pipeline(____, model=model, tokenizer=tokenizer)

review_prompt = "Surprisingly, the film"

# Generate a continuation of the review
generated_text = text_generator(____, max_length=10)
print(f"Generated Review Continuation: {generated_text[0]['generated_text']}")
Editar y ejecutar código