Tokenisera en textdatamängd

Du arbetar med marknadsundersökning för en reswebbplats och vill använda en befintlig datamängd för att finjustera en modell som klassificerar hotellrecensioner. Du väljer att använda biblioteket datasets.

Klassen AutoTokenizer har förimpорterats från transformers, och load_dataset() har förimporterats från datasets.

Den här övningen är en del av kursen

Reinforcement Learning from Human Feedback (RLHF)

Övningsinstruktioner

Lägg till utfyllnad (padding) i tokeniseraren för att bearbeta text i lika stora batchar.
Tokenisera textdata med den förtränade GPT-tokeniseraren och den definierade funktionen.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

dataset = load_dataset("argilla/tripadvisor-hotel-reviews")

tokenizer = AutoTokenizer.from_pretrained("openai-gpt")

# Add padding with the pad token
tokenizer.____

def tokenize_function(examples):
   return tokenizer(examples["text"], padding="max_length", truncation=True)

# Tokenize the dataset
tokenized_datasets = dataset.map(____, batched=True)

Redigera och kör kod

Den här övningen är en del av kursen

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Starta kursen gratis

Det här kapitlet introducerar grunderna i Reinforcement Learning with Human Feedback (RLHF) – en teknik som använder mänsklig input för att hjälpa AI-modeller att lära sig mer effektivt. Kom igång med RLHF genom att förstå hur det skiljer sig från traditionell reinforcement learning och varför mänsklig feedback kan förbättra AI-prestanda inom olika områden.

Exercise 1: Introduktion till RLHF Exercise 2: Textgenerering med RLHF Exercise 3: Klassificera genererad text för RLHF Exercise 4: RL vs. RLHF Exercise 5: Utforska förtränade LLM:er Exercise 6: Tokenisera en textdatamängd

Aktuell övning

Exercise 7: Finjustering för recensionsklassificering Exercise 8: Förbereda data för RLHF Exercise 9: Förbereda preferensdatamängden Exercise 10: Extrahera prompter

Lär dig hur man bygger upp system för insamling av mänsklig feedback i det här kapitlet. Du får ta del av bästa praxis för att samla in högkvalitativ data – från parvisa jämförelser till osäkerhetsbaserad sampling – och utforskar strategier för att förbättra din datainsamling.

Exercise 1: Metoder för insamling av högkvalitativ feedback Exercise 2: Jämförelse och betygsättning inom RLHF Exercise 3: Jämföra slogans för en gymkampanj Exercise 4: Mäta feedbackkvalitet och relevans Exercise 5: Låg konfidens Exercise 6: K-means för klustring av feedback Exercise 7: Aktiv inlärning Exercise 8: Implementera en pipeline för aktiv inlärning Exercise 9: Aktiv inlärningsloop

I det här kapitlet går du in på kärnan i träning med Reinforcement Learning from Human Feedback. Det inkluderar finjustering med PPO, tekniker för effektiv träning och hantering av potentiella avvikelser från dina måtts mål.

Exercise 1: Utforska belöningsmodeller Exercise 2: Initierar belöningen Exercise 3: Konfigurera belöningströning Exercise 4: Träning med PPO Exercise 5: Initiera PPO-tränaren Exercise 6: Finjustering med PPO Exercise 7: Effektiv finjustering i RLHF Exercise 8: Förbered för 8-bitars träning Exercise 9: Träna med LoRA

Utforska centrala tekniker för att utvärdera och förbättra modellprestanda i det här sista kapitlet om Reinforcement Learning from Human Feedback (RLHF). Från finjustering av mätvärden till att integrera olika feedbackkällor får du en heltäckande verktygslåda för att effektivt förfina dina modeller.

Exercise 1: Modellmätvärden och justeringar Exercise 2: Motverka negativ KL-divergens Exercise 3: Kontrollera belöningsmodellen Exercise 4: Att integrera olika återkopplingskällor Exercise 5: Majoritetsröstning på flera datakällor Exercise 6: Identifiering av otillförlitliga datakällor Exercise 7: Utvärdering av RLHF-modeller Exercise 8: Tolka inlärningskurvor Exercise 9: Utvärdera RLHF med mätvärden Exercise 10: Avsluta din RLHF-resa