Majoritetsröstning på flera datakällor

Ditt team utvecklar en AI-modell som automatiskt ska generera kvalitetskontrollrapporter för smartphones. För det ändamålet har ni samlat in preferensdata från tre olika kvalitetskontrollkällor – ett "Automated Vision System", en "Human Inspector" och "Customer Feedback". Var och en har märkt upp parade textexempel som 'chosen' och 'rejected'. Varje par har ett unikt 'id', och varje post visar en föredragen kvalitetskontrollrecension.

quality_df är en kombinerad DataFrame inläst med pandas. Den innehåller data från de tre olika datakällorna. Klassen Counter har dessutom förimporten från modulen collections.

Den här övningen är en del av kursen

Reinforcement Learning from Human Feedback (RLHF)

Övningsinstruktioner

Räkna förekomsterna av varje (chosen, rejected)-par i röstningsfunktionen.
Hitta det (chosen, rejected)-par som har det högsta antalet röster.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

def majority_vote(df):
  	# Count occurrences of each (chosen, rejected) pair
    votes = ____
    # Find the (chosen, rejected) pair with the highest vote count
    winner = ____
    return winner

final_preferences = quality_df.groupby(['id']).apply(majority_vote)

print(final_preferences)

Redigera och kör kod

Den här övningen är en del av kursen

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Starta kursen gratis

Det här kapitlet introducerar grunderna i Reinforcement Learning with Human Feedback (RLHF) – en teknik som använder mänsklig input för att hjälpa AI-modeller att lära sig mer effektivt. Kom igång med RLHF genom att förstå hur det skiljer sig från traditionell reinforcement learning och varför mänsklig feedback kan förbättra AI-prestanda inom olika områden.

Exercise 1: Introduktion till RLHF Exercise 2: Textgenerering med RLHF Exercise 3: Klassificera genererad text för RLHF Exercise 4: RL vs. RLHF Exercise 5: Utforska förtränade LLM:er Exercise 6: Tokenisera en textdatamängd Exercise 7: Finjustering för recensionsklassificering Exercise 8: Förbereda data för RLHF Exercise 9: Förbereda preferensdatamängden Exercise 10: Extrahera prompter

Lär dig hur man bygger upp system för insamling av mänsklig feedback i det här kapitlet. Du får ta del av bästa praxis för att samla in högkvalitativ data – från parvisa jämförelser till osäkerhetsbaserad sampling – och utforskar strategier för att förbättra din datainsamling.

Exercise 1: Metoder för insamling av högkvalitativ feedback Exercise 2: Jämförelse och betygsättning inom RLHF Exercise 3: Jämföra slogans för en gymkampanj Exercise 4: Mäta feedbackkvalitet och relevans Exercise 5: Låg konfidens Exercise 6: K-means för klustring av feedback Exercise 7: Aktiv inlärning Exercise 8: Implementera en pipeline för aktiv inlärning Exercise 9: Aktiv inlärningsloop

I det här kapitlet går du in på kärnan i träning med Reinforcement Learning from Human Feedback. Det inkluderar finjustering med PPO, tekniker för effektiv träning och hantering av potentiella avvikelser från dina måtts mål.

Exercise 1: Utforska belöningsmodeller Exercise 2: Initierar belöningen Exercise 3: Konfigurera belöningströning Exercise 4: Träning med PPO Exercise 5: Initiera PPO-tränaren Exercise 6: Finjustering med PPO Exercise 7: Effektiv finjustering i RLHF Exercise 8: Förbered för 8-bitars träning Exercise 9: Träna med LoRA

Utforska centrala tekniker för att utvärdera och förbättra modellprestanda i det här sista kapitlet om Reinforcement Learning from Human Feedback (RLHF). Från finjustering av mätvärden till att integrera olika feedbackkällor får du en heltäckande verktygslåda för att effektivt förfina dina modeller.

Exercise 1: Modellmätvärden och justeringar Exercise 2: Motverka negativ KL-divergens Exercise 3: Kontrollera belöningsmodellen Exercise 4: Att integrera olika återkopplingskällor Exercise 5: Majoritetsröstning på flera datakällor

Aktuell övning

Exercise 6: Identifiering av otillförlitliga datakällor Exercise 7: Utvärdering av RLHF-modeller Exercise 8: Tolka inlärningskurvor Exercise 9: Utvärdera RLHF med mätvärden Exercise 10: Avsluta din RLHF-resa