De reward trainer instellen

Je project gaat verder en je hebt nu de objecten model en config klaar om te beginnen met het trainen van het rewardmodel.

De trainings- en evaluatiegegevenssets zijn vooraf geladen als train_data en eval_data. De RewardTrainer is geïmporteerd uit trl.

Deze oefening maakt deel uit van de cursus

Reinforcement Learning from Human Feedback (RLHF)

Bekijk cursus

Oefeninstructies

Initialiseer de RewardTrainer() door het model, de tokenizer, de trainingsgegevensset, de evaluatiegegevensset en de beloningsconfiguratie aan de bijbehorende parameters toe te wijzen.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

tokenizer = AutoTokenizer.from_pretrained("openai-gpt")
model = AutoModelForSequenceClassification.from_pretrained('openai-gpt')
config = RewardConfig(output_dir='output_dir', max_length=60)

# Initialize the reward trainer
trainer = ____

Code bewerken en uitvoeren

Deze oefening maakt deel uit van de cursus

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

293 reviews

Begin gratis met de cursus

Dit hoofdstuk behandelt de basis van Reinforcement Learning with Human Feedback (RLHF), een techniek die menselijk input gebruikt om AI-modellen effectiever te laten leren. Begin met RLHF door te begrijpen hoe het verschilt van traditionele reinforcement learning en waarom menselijke feedback de prestaties van AI in uiteenlopende domeinen kan verbeteren.

Exercise 1: Introductie tot RLHF Exercise 2: Tekstgeneratie met RLHF Exercise 3: Gegenereerde tekst classificeren voor RLHF Exercise 4: RL vs. RLHF Exercise 5: Voorgetrainde LLM's verkennen Exercise 6: Tokenizeer een tekstgegevensset Exercise 7: Fine-tunen voor reviewclassificatie Exercise 8: Data voorbereiden voor RLHF Exercise 9: De voorkeursgegevensset voorbereiden Exercise 10: Prompts extraheren

Ontdek in dit hoofdstuk hoe je systemen opzet om menselijke feedback te verzamelen. Leer best practices voor het verzamelen van hoogwaardige data, van paargewijze vergelijkingen tot uncertainty sampling, en verken strategieën om je dataverzameling te versterken.

Exercise 1: Methoden om feedback van hoge kwaliteit te verzamelen Exercise 2: Vergelijking en beoordeling in RLHF begrijpen Exercise 3: Slogans vergelijken voor een sportschoolcampagne Exercise 4: De kwaliteit en relevantie van feedback meten Exercise 5: Laag vertrouwen Exercise 6: K-means voor het clusteren van feedback Exercise 7: Actief leren Exercise 8: Een active learning-pijplijn implementeren Exercise 9: Active learning-loop

In dit hoofdstuk duik je in de kern van trainen met Reinforcement Learning from Human Feedback. Je verkent fine-tuning met PPO, technieken voor efficiënt trainen en hoe je mogelijke afwijkingen van de doelstellingen van je metriek aanpakt.

Exercise 1: Rewardmodellen onder de loep Exercise 2: De beloning initialiseren Exercise 3: De reward trainer instellen

Huidige oefening

Exercise 4: Trainen met PPO Exercise 5: Initialiseer de PPO-trainer Exercise 6: PPO-finetuning Exercise 7: Efficiënt fine-tunen in RLHF Exercise 8: Voorbereiden op 8-bit-training Exercise 9: Trainen met LoRA

Verken in dit laatste hoofdstuk van Reinforcement Learning from Human Feedback (RLHF) belangrijke technieken om modelprestaties te beoordelen en te verbeteren: van het verfijnen van metriek tot het integreren van diverse feedbackbronnen. Je krijgt een complete gereedschapskist om je modellen effectief te finetunen.

Exercise 1: Modelmetingen en bijsturing Exercise 2: Negatieve KL-divergentie beperken Exercise 3: Het rewardmodel controleren Exercise 4: Diverse feedbackbronnen integreren Exercise 5: Meerderheidsstemming over meerdere databronnen Exercise 6: Onbetrouwbare gegevensbron identificeren Exercise 7: RLHF-modellen evalueren Exercise 8: Curves interpreteren Exercise 9: RLHF evalueren met metriek Exercise 10: Afronding van je RLHF-reis