Laag vertrouwen

In deze oefening werk je met een rewardmodel om te beoordelen hoe zeker het invoertekst classificeert en om voorspellingen die niet betrouwbaar zijn eruit te filteren. Het doel is om het vermogen van het model om voorspellingen te genereren te evalueren en een vertrouwensdrempel toe te passen, zodat alleen voorspellingen met hoog vertrouwen als geldig worden beschouwd.

De kansverdelingen voor elke feedbacktekst (prob_dists) en de variabele met feedbackteksten (texts), en de functie least_confidence() zijn al geladen.

Deze oefening maakt deel uit van de cursus

Reinforcement Learning from Human Feedback (RLHF)

Oefeninstructies

Definieer de functie om de indexen te filteren van kansverdelingen waarvoor het vertrouwen onder een gegeven drempel ligt.
Haal de indexen van de feedbackreacties op door de kansverdelingen aan de functie door te geven, waarbij je de drempel ongewijzigd laat (0.5).

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Define the filter function
def filter_low_confidence_predictions(prob_dists, threshold=0.5):
    filtered_indices = [i for i, ____ in enumerate(____) ____]
    return filtered_indices

# Find the indices
filtered_indices = ____

high_confidence_texts = [texts[i] for i in filtered_indices]
print("High-confidence texts:", high_confidence_texts)

Code bewerken en uitvoeren

Deze oefening maakt deel uit van de cursus

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Begin gratis met de cursus

Dit hoofdstuk behandelt de basis van Reinforcement Learning with Human Feedback (RLHF), een techniek die menselijk input gebruikt om AI-modellen effectiever te laten leren. Begin met RLHF door te begrijpen hoe het verschilt van traditionele reinforcement learning en waarom menselijke feedback de prestaties van AI in uiteenlopende domeinen kan verbeteren.

Exercise 1: Introductie tot RLHF Exercise 2: Tekstgeneratie met RLHF Exercise 3: Gegenereerde tekst classificeren voor RLHF Exercise 4: RL vs. RLHF Exercise 5: Voorgetrainde LLM's verkennen Exercise 6: Tokenizeer een tekstgegevensset Exercise 7: Fine-tunen voor reviewclassificatie Exercise 8: Data voorbereiden voor RLHF Exercise 9: De voorkeursgegevensset voorbereiden Exercise 10: Prompts extraheren

Ontdek in dit hoofdstuk hoe je systemen opzet om menselijke feedback te verzamelen. Leer best practices voor het verzamelen van hoogwaardige data, van paargewijze vergelijkingen tot uncertainty sampling, en verken strategieën om je dataverzameling te versterken.

Exercise 1: Methoden om feedback van hoge kwaliteit te verzamelen Exercise 2: Vergelijking en beoordeling in RLHF begrijpen Exercise 3: Slogans vergelijken voor een sportschoolcampagne Exercise 4: De kwaliteit en relevantie van feedback meten Exercise 5: Laag vertrouwen

Huidige oefening

Exercise 6: K-means voor het clusteren van feedback Exercise 7: Actief leren Exercise 8: Een active learning-pijplijn implementeren Exercise 9: Active learning-loop

In dit hoofdstuk duik je in de kern van trainen met Reinforcement Learning from Human Feedback. Je verkent fine-tuning met PPO, technieken voor efficiënt trainen en hoe je mogelijke afwijkingen van de doelstellingen van je metriek aanpakt.

Exercise 1: Rewardmodellen onder de loep Exercise 2: De beloning initialiseren Exercise 3: De reward trainer instellen Exercise 4: Trainen met PPO Exercise 5: Initialiseer de PPO-trainer Exercise 6: PPO-finetuning Exercise 7: Efficiënt fine-tunen in RLHF Exercise 8: Voorbereiden op 8-bit-training Exercise 9: Trainen met LoRA

Verken in dit laatste hoofdstuk van Reinforcement Learning from Human Feedback (RLHF) belangrijke technieken om modelprestaties te beoordelen en te verbeteren: van het verfijnen van metriek tot het integreren van diverse feedbackbronnen. Je krijgt een complete gereedschapskist om je modellen effectief te finetunen.

Exercise 1: Modelmetingen en bijsturing Exercise 2: Negatieve KL-divergentie beperken Exercise 3: Het rewardmodel controleren Exercise 4: Diverse feedbackbronnen integreren Exercise 5: Meerderheidsstemming over meerdere databronnen Exercise 6: Onbetrouwbare gegevensbron identificeren Exercise 7: RLHF-modellen evalueren Exercise 8: Curves interpreteren Exercise 9: RLHF evalueren met metriek Exercise 10: Afronding van je RLHF-reis