Generowanie tekstu z użyciem RLHF
W tym ćwiczeniu będziesz pracować z modelem wstępnie wytrenowanym przy użyciu RLHF o nazwie lvwerra/gpt2-imdb-pos-v2. To dobra okazja, żeby przypomnieć sobie, jak zbudować potok Hugging Face, i przetestować jedno z zastosowań modeli trenowanych z RLHF: generowanie recenzji filmowych.
Obiekty pipeline, AutoModelForCausalLM i AutoTokenizer zostały wcześniej zaimportowane z transformers. Obiekt tokenizer jest już wczytany.
To ćwiczenie jest częścią kursu
Uczenie przez wzmacnianie z informacją zwrotną od człowieka (RLHF)
Instrukcje do ćwiczenia
- Ustaw nazwę modelu na
lvwerra/gpt2-imdb-pos-v2– model wstępnie wytrenowany z użyciem RLHF. - Użyj funkcji
pipeline, aby utworzyć potoktext-generation. - Użyj potoku do generowania tekstu, aby wygenerować kontynuację podanej recenzji.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Set the model name
model_name = ____
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
# Create a text generation pipeline
text_generator = pipeline(____, model=model, tokenizer=tokenizer)
review_prompt = "Surprisingly, the film"
# Generate a continuation of the review
generated_text = text_generator(____, max_length=10)
print(f"Generated Review Continuation: {generated_text[0]['generated_text']}")