ПочатиПочніть безкоштовно

Генерація тексту з RLHF

У цій вправі ви працюватимете з попередньо натренованою за допомогою RLHF моделлю lvwerra/gpt2-imdb-pos-v2. Це нагода пригадати, як будувати конвеєр Hugging Face, і перевірити типовий кейс для моделей, навчених із RLHF: генерування рецензій на фільми.

Об'єкти pipeline, AutoModelForCausalLM, and AutoTokenizer уже імпортовано з transformers. tokenizer уже завантажено

Ця вправа є частиною курсу

Reinforcement Learning from Human Feedback (RLHF)

Переглянути курс

Інструкції до вправи

  • Встановіть назву моделі lvwerra/gpt2-imdb-pos-v2, тобто моделі, попередньо натренованої за допомогою RLHF.
  • Використайте функцію pipeline, щоб створити конвеєр text-generation.
  • Використайте конвеєр генерування тексту, щоб згенерувати продовження наданої рецензії.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Set the model name
model_name = ____
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# Create a text generation pipeline
text_generator = pipeline(____, model=model, tokenizer=tokenizer)

review_prompt = "Surprisingly, the film"

# Generate a continuation of the review
generated_text = text_generator(____, max_length=10)
print(f"Generated Review Continuation: {generated_text[0]['generated_text']}")
Редагувати та запускати код