Motverka negativ KL-divergens

Du har finjusterat modellen med RLHF-tekniker och märkt att modellens prestanda har försämrats jämfört med basmodellen. Du misstänker att detta beror på negativ KL-divergens och vill därför ställa in rätt genereringsparametrar för att förhindra problemet.

tokenizer har importerats i förväg.

Den här övningen är en del av kursen

Reinforcement Learning from Human Feedback (RLHF)

Visa kurs

Övningsinstruktioner

Sätt top_k och min_length till värden som hjälper till att undvika KL-divergens.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

generation_kwargs = {
    # Set min length and top k parameters
    ____, 
  	"top_p": 1.0,
  	"do_sample": True,  
  	"pad_token_id": tokenizer.eos_token_id, 
  	"max_new_tokens": 32}

Redigera och kör kod

Den här övningen är en del av kursen

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

307 reviews

Starta kursen gratis

Det här kapitlet introducerar grunderna i Reinforcement Learning with Human Feedback (RLHF) – en teknik som använder mänsklig input för att hjälpa AI-modeller att lära sig mer effektivt. Kom igång med RLHF genom att förstå hur det skiljer sig från traditionell reinforcement learning och varför mänsklig feedback kan förbättra AI-prestanda inom olika områden.

Exercise 1: Introduktion till RLHF Exercise 2: Textgenerering med RLHF Exercise 3: Klassificera genererad text för RLHF Exercise 4: RL vs. RLHF Exercise 5: Utforska förtränade LLM:er Exercise 6: Tokenisera en textdatamängd Exercise 7: Finjustering för recensionsklassificering Exercise 8: Förbereda data för RLHF Exercise 9: Förbereda preferensdatamängden Exercise 10: Extrahera prompter

Lär dig hur man bygger upp system för insamling av mänsklig feedback i det här kapitlet. Du får ta del av bästa praxis för att samla in högkvalitativ data – från parvisa jämförelser till osäkerhetsbaserad sampling – och utforskar strategier för att förbättra din datainsamling.

Exercise 1: Metoder för insamling av högkvalitativ feedback Exercise 2: Jämförelse och betygsättning inom RLHF Exercise 3: Jämföra slogans för en gymkampanj Exercise 4: Mäta feedbackkvalitet och relevans Exercise 5: Låg konfidens Exercise 6: K-means för klustring av feedback Exercise 7: Aktiv inlärning Exercise 8: Implementera en pipeline för aktiv inlärning Exercise 9: Aktiv inlärningsloop

I det här kapitlet går du in på kärnan i träning med Reinforcement Learning from Human Feedback. Det inkluderar finjustering med PPO, tekniker för effektiv träning och hantering av potentiella avvikelser från dina måtts mål.

Exercise 1: Utforska belöningsmodeller Exercise 2: Initierar belöningen Exercise 3: Konfigurera belöningströning Exercise 4: Träning med PPO Exercise 5: Initiera PPO-tränaren Exercise 6: Finjustering med PPO Exercise 7: Effektiv finjustering i RLHF Exercise 8: Förbered för 8-bitars träning Exercise 9: Träna med LoRA

Utforska centrala tekniker för att utvärdera och förbättra modellprestanda i det här sista kapitlet om Reinforcement Learning from Human Feedback (RLHF). Från finjustering av mätvärden till att integrera olika feedbackkällor får du en heltäckande verktygslåda för att effektivt förfina dina modeller.

Exercise 1: Modellmätvärden och justeringar Exercise 2: Motverka negativ KL-divergens

Aktuell övning

Exercise 3: Kontrollera belöningsmodellen Exercise 4: Att integrera olika återkopplingskällor Exercise 5: Majoritetsröstning på flera datakällor Exercise 6: Identifiering av otillförlitliga datakällor Exercise 7: Utvärdering av RLHF-modeller Exercise 8: Tolka inlärningskurvor Exercise 9: Utvärdera RLHF med mätvärden Exercise 10: Avsluta din RLHF-resa