Încredere scăzută

În acest exercițiu, vei lucra cu un model de recompensă pentru a evalua cât de sigur clasifică textul de intrare și pentru a filtra predicțiile care nu sunt suficient de fiabile. Scopul este să evaluezi capacitatea modelului de a genera predicții și să aplici un prag de încredere, astfel încât doar predicțiile cu un nivel ridicat de încredere să fie considerate valide.

Distribuțiile de probabilitate pentru fiecare text de feedback (prob_dists), variabila cu textele de feedback (texts) și funcția least_confidence() au fost pre-încărcate.

Acest exercițiu face parte din cursul

Reinforcement Learning from Human Feedback (RLHF)

Instrucțiuni pentru exercițiu

Definește funcția care filtrează indicii distribuțiilor de probabilitate pentru care nivelul de încredere este sub un prag dat.
Obține indicii comentariilor de feedback transmițând distribuțiile de probabilitate funcției, fără a modifica pragul implicit (0.5).

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Define the filter function
def filter_low_confidence_predictions(prob_dists, threshold=0.5):
    filtered_indices = [i for i, ____ in enumerate(____) ____]
    return filtered_indices

# Find the indices
filtered_indices = ____

high_confidence_texts = [texts[i] for i in filtered_indices]
print("High-confidence texts:", high_confidence_texts)

Editează și rulează codul

Acest exercițiu face parte din cursul

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

Acest capitol introduce elementele de bază ale Reinforcement Learning with Human Feedback (RLHF), o tehnică ce folosește input-ul uman pentru a ajuta modelele AI să învețe mai eficient. Începe cu RLHF înțelegând cum diferă de reinforcement learning-ul tradițional și de ce feedback-ul uman poate îmbunătăți performanța AI în diverse domenii.

Exercise 1: Introducere în RLHF Exercise 2: Generarea de text cu RLHF Exercise 3: Clasificarea textului generat pentru RLHF Exercise 4: RL vs. RLHF Exercise 5: Explorarea LLM-urilor pre-antrenate Exercise 6: Tokenizarea unui set de date text Exercise 7: Ajustarea fină pentru clasificarea recenziilor Exercise 8: Pregătirea datelor pentru RLHF Exercise 9: Pregătirea setului de date cu preferințe Exercise 10: Extragerea prompturilor

Descoperă cum să configurezi sisteme pentru colectarea feedback-ului uman în acest capitol. Învață cele mai bune practici pentru colectarea datelor de calitate, de la comparații pereche până la eșantionarea prin incertitudine, și explorează strategii pentru îmbunătățirea colectării datelor.

Exercise 1: Metode pentru colectarea unui feedback de calitate Exercise 2: Înțelegerea comparației și a evaluării în RLHF Exercise 3: Compararea sloganurilor pentru o campanie de fitness Exercise 4: Măsurarea calității și relevanței feedback-ului Exercise 5: Încredere scăzută

Exercițiul curent

Exercise 6: K-means pentru gruparea feedback-ului Exercise 7: Învățare activă Exercise 8: Implementarea unui pipeline de învățare activă Exercise 9: Buclă de învățare activă

În acest capitol, vei pătrunde în miezul antrenării prin Reinforcement Learning from Human Feedback. Vei explora ajustarea fină cu PPO, tehnici de antrenare eficientă și gestionarea potențialelor divergențe față de obiectivele metricilor tăi.

Exercise 1: Explorarea modelelor de recompensă Exercise 2: Inițializarea recompensei Exercise 3: Configurarea trainerului de recompensă Exercise 4: Antrenament cu PPO Exercise 5: Inițializează antrenorul PPO Exercise 6: Fine-tuning cu PPO Exercise 7: Ajustare eficientă în RLHF Exercise 8: Pregătire pentru antrenament pe 8 biți Exercise 9: Antrenament cu LoRA

Explorează tehnici esențiale pentru evaluarea și îmbunătățirea performanței modelelor în acest ultim capitol despre Reinforcement Learning from Human Feedback (RLHF): de la ajustarea metricilor până la integrarea unor surse diverse de feedback, vei dispune de un set complet de instrumente pentru a-ți rafina modelele eficient.

Exercise 1: Metrici și ajustări ale modelului Exercise 2: Atenuarea divergenței KL negative Exercise 3: Verificarea modelului de recompensă Exercise 4: Integrarea unor surse diverse de feedback Exercise 5: Votul majoritar pe mai multe surse de date Exercise 6: Identificarea surselor de date nesigure Exercise 7: Evaluarea modelelor RLHF Exercise 8: Interpretarea curbelor Exercise 9: Evaluarea RLHF cu metrici Exercise 10: Încheierea călătoriei tale RLHF