Konfigurera belöningströning

Ditt projekt fortsätter och du har nu objekten model och config redo för att börja träna belöningsmodellen.

Tränings- och utvärderingsdatamängderna har förinslästs som train_data och eval_data. RewardTrainer har importerats från trl.

Den här övningen är en del av kursen

Reinforcement Learning from Human Feedback (RLHF)

Visa kurs

Övningsinstruktioner

Initiera RewardTrainer() genom att tilldela modellen, tokeniseraren, träningsdatamängden, utvärderingsdatamängden och belöningskonfigurationen till dess attribut.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

tokenizer = AutoTokenizer.from_pretrained("openai-gpt")
model = AutoModelForSequenceClassification.from_pretrained('openai-gpt')
config = RewardConfig(output_dir='output_dir', max_length=60)

# Initialize the reward trainer
trainer = ____

Redigera och kör kod

Den här övningen är en del av kursen

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

307 reviews

Starta kursen gratis

Det här kapitlet introducerar grunderna i Reinforcement Learning with Human Feedback (RLHF) – en teknik som använder mänsklig input för att hjälpa AI-modeller att lära sig mer effektivt. Kom igång med RLHF genom att förstå hur det skiljer sig från traditionell reinforcement learning och varför mänsklig feedback kan förbättra AI-prestanda inom olika områden.

Exercise 1: Introduktion till RLHF Exercise 2: Textgenerering med RLHF Exercise 3: Klassificera genererad text för RLHF Exercise 4: RL vs. RLHF Exercise 5: Utforska förtränade LLM:er Exercise 6: Tokenisera en textdatamängd Exercise 7: Finjustering för recensionsklassificering Exercise 8: Förbereda data för RLHF Exercise 9: Förbereda preferensdatamängden Exercise 10: Extrahera prompter

Lär dig hur man bygger upp system för insamling av mänsklig feedback i det här kapitlet. Du får ta del av bästa praxis för att samla in högkvalitativ data – från parvisa jämförelser till osäkerhetsbaserad sampling – och utforskar strategier för att förbättra din datainsamling.

Exercise 1: Metoder för insamling av högkvalitativ feedback Exercise 2: Jämförelse och betygsättning inom RLHF Exercise 3: Jämföra slogans för en gymkampanj Exercise 4: Mäta feedbackkvalitet och relevans Exercise 5: Låg konfidens Exercise 6: K-means för klustring av feedback Exercise 7: Aktiv inlärning Exercise 8: Implementera en pipeline för aktiv inlärning Exercise 9: Aktiv inlärningsloop

I det här kapitlet går du in på kärnan i träning med Reinforcement Learning from Human Feedback. Det inkluderar finjustering med PPO, tekniker för effektiv träning och hantering av potentiella avvikelser från dina måtts mål.

Exercise 1: Utforska belöningsmodeller Exercise 2: Initierar belöningen Exercise 3: Konfigurera belöningströning

Aktuell övning

Exercise 4: Träning med PPO Exercise 5: Initiera PPO-tränaren Exercise 6: Finjustering med PPO Exercise 7: Effektiv finjustering i RLHF Exercise 8: Förbered för 8-bitars träning Exercise 9: Träna med LoRA

Utforska centrala tekniker för att utvärdera och förbättra modellprestanda i det här sista kapitlet om Reinforcement Learning from Human Feedback (RLHF). Från finjustering av mätvärden till att integrera olika feedbackkällor får du en heltäckande verktygslåda för att effektivt förfina dina modeller.

Exercise 1: Modellmätvärden och justeringar Exercise 2: Motverka negativ KL-divergens Exercise 3: Kontrollera belöningsmodellen Exercise 4: Att integrera olika återkopplingskällor Exercise 5: Majoritetsröstning på flera datakällor Exercise 6: Identifiering av otillförlitliga datakällor Exercise 7: Utvärdering av RLHF-modeller Exercise 8: Tolka inlärningskurvor Exercise 9: Utvärdera RLHF med mätvärden Exercise 10: Avsluta din RLHF-resa