Acest capitol introduce elementele de bază ale Reinforcement Learning with Human Feedback (RLHF), o tehnică ce folosește input-ul uman pentru a ajuta modelele AI să învețe mai eficient. Începe cu RLHF înțelegând cum diferă de reinforcement learning-ul tradițional și de ce feedback-ul uman poate îmbunătăți performanța AI în diverse domenii.

Introducere în RLHF

Generarea de text cu RLHF

Clasificarea textului generat pentru RLHF

RL vs. RLHF

Explorarea LLM-urilor pre-antrenate

Tokenizarea unui set de date text

Ajustarea fină pentru clasificarea recenziilor

Pregătirea datelor pentru RLHF

Pregătirea setului de date cu preferințe

Extragerea prompturilor

Concepte fundamentale

Descoperă cum să configurezi sisteme pentru colectarea feedback-ului uman în acest capitol. Învață cele mai bune practici pentru colectarea datelor de calitate, de la comparații pereche până la eșantionarea prin incertitudine, și explorează strategii pentru îmbunătățirea colectării datelor.

Metode pentru colectarea unui feedback de calitate

Înțelegerea comparației și a evaluării în RLHF

Compararea sloganurilor pentru o campanie de fitness

Măsurarea calității și relevanței feedback-ului

Încredere scăzută

K-means pentru gruparea feedback-ului

Învățare activă

Implementarea unui pipeline de învățare activă

Buclă de învățare activă

Colectarea feedback-ului uman

În acest capitol, vei pătrunde în miezul antrenării prin Reinforcement Learning from Human Feedback. Vei explora ajustarea fină cu PPO, tehnici de antrenare eficientă și gestionarea potențialelor divergențe față de obiectivele metricilor tăi.

Explorarea modelelor de recompensă

Inițializarea recompensei

Configurarea trainerului de recompensă

Antrenament cu PPO

Inițializează antrenorul PPO

Fine-tuning cu PPO

Ajustare eficientă în RLHF

Pregătire pentru antrenament pe 8 biți

Antrenament cu LoRA

Ajustarea modelelor cu feedback uman

Explorează tehnici esențiale pentru evaluarea și îmbunătățirea performanței modelelor în acest ultim capitol despre Reinforcement Learning from Human Feedback (RLHF): de la ajustarea metricilor până la integrarea unor surse diverse de feedback, vei dispune de un set complet de instrumente pentru a-ți rafina modelele eficient.

Metrici și ajustări ale modelului

Atenuarea divergenței KL negative

Verificarea modelului de recompensă

Integrarea unor surse diverse de feedback

Votul majoritar pe mai multe surse de date

Identificarea surselor de date nesigure

Evaluarea modelelor RLHF

Interpretarea curbelor

Evaluarea RLHF cu metrici

Încheierea călătoriei tale RLHF

Evaluarea modelelor

Combină eficiența inteligenței artificiale generative cu înțelegerea expertizei umane în acest curs despre Reinforcement Learning from Human Feedback. Vei învăța cum să faci modelele GenAI să reflecte cu adevărat valorile și preferințele umane, dobândind totodată experiență practică cu LLM-uri. Vei naviga prin complexitatea modelelor de recompensă și vei învăța cum să construiești pe baza LLM-urilor pentru a produce sisteme AI care nu doar învață, ci și se adaptează la scenarii din lumea reală.

Deep Reinforcement Learning in Python

Învață să creezi modele GenAI care reflectă valorile umane și câștigă experiență cu LLM avansate.

Reinforcement Learning from Human Feedback (RLHF)

Învață cum să faci modelele GenAI să reflecte cu adevărat valorile umane, dobândind experiență practică cu LLM-uri avansate.

Dezvoltarea modelelor lingvistice mari

Învățare prin întărire în Python

RL vs. RLHF

Reinforcement Learning from Human Feedback (RLHF)

Exercițiu interactiv practic