CommencerCommencer gratuitement

Génération de texte avec RLHF

Dans cet exercice, vous allez utiliser un modèle pré-entraîné avec RLHF nommé lvwerra/gpt2-imdb-pos-v2. Cet exercice vous permet de réviser la construction d’un pipeline Hugging Face et de l’employer pour tester un cas d’usage des modèles entraînés avec RLHF : générer des critiques de films.

Les objets pipeline, AutoModelForCausalLM, and AutoTokenizer ont déjà été importés depuis transformers. Le tokenizer a été préchargé

Cet exercice fait partie du cours

Reinforcement Learning from Human Feedback (RLHF)

Afficher le cours

Instructions

  • Définissez le nom du modèle sur lvwerra/gpt2-imdb-pos-v2, le modèle pré-entraîné avec RLHF.
  • Utilisez la fonction pipeline pour créer un pipeline de text-generation.
  • Utilisez ce pipeline de génération de texte pour produire la suite de la critique fournie.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Set the model name
model_name = ____
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# Create a text generation pipeline
text_generator = pipeline(____, model=model, tokenizer=tokenizer)

review_prompt = "Surprisingly, the film"

# Generate a continuation of the review
generated_text = text_generator(____, max_length=10)
print(f"Generated Review Continuation: {generated_text[0]['generated_text']}")
Modifier et exécuter le code