Det här kapitlet introducerar grunderna i Reinforcement Learning with Human Feedback (RLHF) – en teknik som använder mänsklig input för att hjälpa AI-modeller att lära sig mer effektivt. Kom igång med RLHF genom att förstå hur det skiljer sig från traditionell reinforcement learning och varför mänsklig feedback kan förbättra AI-prestanda inom olika områden.

Introduktion till RLHF

Textgenerering med RLHF

Klassificera genererad text för RLHF

RL vs. RLHF

Utforska förtränade LLM:er

Tokenisera en textdatamängd

Finjustering för recensionsklassificering

Förbereda data för RLHF

Förbereda preferensdatamängden

Extrahera prompter

Grundläggande begrepp

Lär dig hur man bygger upp system för insamling av mänsklig feedback i det här kapitlet. Du får ta del av bästa praxis för att samla in högkvalitativ data – från parvisa jämförelser till osäkerhetsbaserad sampling – och utforskar strategier för att förbättra din datainsamling.

Metoder för insamling av högkvalitativ feedback

Alternativ

Jämförelse

Betygsättning

Jämförelse och betygsättning inom RLHF

Jämföra slogans för en gymkampanj

Mäta feedbackkvalitet och relevans

Låg konfidens

K-means för klustring av feedback

Aktiv inlärning

Implementera en pipeline för aktiv inlärning

Aktiv inlärningsloop

Insamling av mänsklig feedback

I det här kapitlet går du in på kärnan i träning med Reinforcement Learning from Human Feedback. Det inkluderar finjustering med PPO, tekniker för effektiv träning och hantering av potentiella avvikelser från dina måtts mål.

Utforska belöningsmodeller

Initierar belöningen

Konfigurera belöningströning

Träning med PPO

Initiera PPO-tränaren

Finjustering med PPO

Effektiv finjustering i RLHF

Förbered för 8-bitars träning

Träna med LoRA

Finjustering av modeller med mänsklig feedback

Utforska centrala tekniker för att utvärdera och förbättra modellprestanda i det här sista kapitlet om Reinforcement Learning from Human Feedback (RLHF). Från finjustering av mätvärden till att integrera olika feedbackkällor får du en heltäckande verktygslåda för att effektivt förfina dina modeller.

Modellmätvärden och justeringar

Motverka negativ KL-divergens

Kontrollera belöningsmodellen

Att integrera olika återkopplingskällor

Majoritetsröstning på flera datakällor

Identifiering av otillförlitliga datakällor

Utvärdering av RLHF-modeller

Tolka inlärningskurvor

Utvärdera RLHF med mätvärden

Avsluta din RLHF-resa

Modellutvärdering

Kombinera effektiviteten hos generativ AI med mänsklig expertis i den här kursen om Reinforcement Learning from Human Feedback. Du lär dig hur man får GenAI-modeller att verkligen återspegla mänskliga värderingar och preferenser, och du får praktisk erfarenhet av LLM:er. Du utforskar också komplexiteten hos belöningsmodeller och lär dig hur man bygger vidare på LLM:er för att skapa AI som inte bara lär sig utan även anpassar sig till verkliga scenarier.

Deep Reinforcement Learning in Python

Lär dig skapa GenAI-modeller som speglar mänskliga värden och få praktisk erfarenhet med avancerade LLMs.

Reinforcement Learning from Human Feedback (RLHF)

Lär dig hur du får GenAI-modeller att verkligen spegla mänskliga värderingar samtidigt som du får praktisk erfarenhet av avancerade LLM:er.

Utveckla stora språkmodeller

Förstärkningsinlärning i Python

Välj vilken av följande filmer som är bäst: "Interstellar" eller "Oppenheimer"

Ge varje film ett poäng från 1 till 5 baserat på viktighet: "Titanic", "Gladiator", "Interstellar"

Jämförelse och betygsättning inom RLHF

Reinforcement Learning from Human Feedback (RLHF)

Interaktiv övning med praktiskt arbete