Klassificera genererad text för RLHF

Nu vill du kategorisera de genererade recensionerna. Ett sätt att utvärdera resultatet är att mäta hur positiva de genererade recensionerna är, med hjälp av klassificeraren lvwerra/distilbert-imdb, som du också kan instansiera via Hugging Face-pipelines.

Biblioteket pipeline har förinslästs från transformers. Modellen lvwerra/distilbert-imdb har förinslästs som model. Tokeniseraren har förinslästs som tokenizer.

Den här övningen är en del av kursen

Reinforcement Learning from Human Feedback (RLHF)

Övningsinstruktioner

Använd funktionen pipeline för att skapa en sentimentanalys-pipeline med modellen.
Klassificera sentimentet i den angivna recensionen.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Create a sentiment analysis pipeline
sentiment_analyzer = pipeline(____, model=____, tokenizer=____)

review_text = "Surprisingly, the film is a very good one"

# Classify the sentiment of the review
sentiment = sentiment_analyzer(____)
print(f"Sentiment Analysis Result: {sentiment}")

Redigera och kör kod

Den här övningen är en del av kursen

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Starta kursen gratis

Det här kapitlet introducerar grunderna i Reinforcement Learning with Human Feedback (RLHF) – en teknik som använder mänsklig input för att hjälpa AI-modeller att lära sig mer effektivt. Kom igång med RLHF genom att förstå hur det skiljer sig från traditionell reinforcement learning och varför mänsklig feedback kan förbättra AI-prestanda inom olika områden.

Exercise 1: Introduktion till RLHF Exercise 2: Textgenerering med RLHF Exercise 3: Klassificera genererad text för RLHF

Aktuell övning

Exercise 4: RL vs. RLHF Exercise 5: Utforska förtränade LLM:er Exercise 6: Tokenisera en textdatamängd Exercise 7: Finjustering för recensionsklassificering Exercise 8: Förbereda data för RLHF Exercise 9: Förbereda preferensdatamängden Exercise 10: Extrahera prompter

Lär dig hur man bygger upp system för insamling av mänsklig feedback i det här kapitlet. Du får ta del av bästa praxis för att samla in högkvalitativ data – från parvisa jämförelser till osäkerhetsbaserad sampling – och utforskar strategier för att förbättra din datainsamling.

Exercise 1: Metoder för insamling av högkvalitativ feedback Exercise 2: Jämförelse och betygsättning inom RLHF Exercise 3: Jämföra slogans för en gymkampanj Exercise 4: Mäta feedbackkvalitet och relevans Exercise 5: Låg konfidens Exercise 6: K-means för klustring av feedback Exercise 7: Aktiv inlärning Exercise 8: Implementera en pipeline för aktiv inlärning Exercise 9: Aktiv inlärningsloop

I det här kapitlet går du in på kärnan i träning med Reinforcement Learning from Human Feedback. Det inkluderar finjustering med PPO, tekniker för effektiv träning och hantering av potentiella avvikelser från dina måtts mål.

Exercise 1: Utforska belöningsmodeller Exercise 2: Initierar belöningen Exercise 3: Konfigurera belöningströning Exercise 4: Träning med PPO Exercise 5: Initiera PPO-tränaren Exercise 6: Finjustering med PPO Exercise 7: Effektiv finjustering i RLHF Exercise 8: Förbered för 8-bitars träning Exercise 9: Träna med LoRA

Utforska centrala tekniker för att utvärdera och förbättra modellprestanda i det här sista kapitlet om Reinforcement Learning from Human Feedback (RLHF). Från finjustering av mätvärden till att integrera olika feedbackkällor får du en heltäckande verktygslåda för att effektivt förfina dina modeller.

Exercise 1: Modellmätvärden och justeringar Exercise 2: Motverka negativ KL-divergens Exercise 3: Kontrollera belöningsmodellen Exercise 4: Att integrera olika återkopplingskällor Exercise 5: Majoritetsröstning på flera datakällor Exercise 6: Identifiering av otillförlitliga datakällor Exercise 7: Utvärdering av RLHF-modeller Exercise 8: Tolka inlärningskurvor Exercise 9: Utvärdera RLHF med mätvärden Exercise 10: Avsluta din RLHF-resa