Implementarea unui pipeline de învățare activă

În acest exercițiu, vei configura un model de învățare activă folosind regresia logistică și o strategie de eșantionare bazată pe incertitudine.

Setul de date a fost încărcat cu X_labeled pentru datele de antrenament etichetate, X_unlabeled pentru datele de antrenament neetichetate și y_labeled pentru etichete.

Bibliotecile necesare au fost deja importate: ActiveLearner din modAL.models, uncertainty_sampling din modAL.uncertainty și LogisticRegression din sklearn.linear_model.

Acest exercițiu face parte din cursul

Reinforcement Learning from Human Feedback (RLHF)

Instrucțiuni pentru exercițiu

Inițializează un obiect ActiveLearner.
Folosește LogisticRegression ca estimator.
Folosește eșantionarea bazată pe incertitudine ca strategie de interogare.
Inițializează modelul cu datele de antrenament etichetate.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Create the active learner object
learner = ____(
    # Set the estimator 
    ____,
    # Set the query strategy
    ____,
    # Pass the labeled data
    X_training=____, y_training=____
)

Editează și rulează codul

Acest exercițiu face parte din cursul

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

Acest capitol introduce elementele de bază ale Reinforcement Learning with Human Feedback (RLHF), o tehnică ce folosește input-ul uman pentru a ajuta modelele AI să învețe mai eficient. Începe cu RLHF înțelegând cum diferă de reinforcement learning-ul tradițional și de ce feedback-ul uman poate îmbunătăți performanța AI în diverse domenii.

Exercise 1: Introducere în RLHF Exercise 2: Generarea de text cu RLHF Exercise 3: Clasificarea textului generat pentru RLHF Exercise 4: RL vs. RLHF Exercise 5: Explorarea LLM-urilor pre-antrenate Exercise 6: Tokenizarea unui set de date text Exercise 7: Ajustarea fină pentru clasificarea recenziilor Exercise 8: Pregătirea datelor pentru RLHF Exercise 9: Pregătirea setului de date cu preferințe Exercise 10: Extragerea prompturilor

Descoperă cum să configurezi sisteme pentru colectarea feedback-ului uman în acest capitol. Învață cele mai bune practici pentru colectarea datelor de calitate, de la comparații pereche până la eșantionarea prin incertitudine, și explorează strategii pentru îmbunătățirea colectării datelor.

Exercise 1: Metode pentru colectarea unui feedback de calitate Exercise 2: Înțelegerea comparației și a evaluării în RLHF Exercise 3: Compararea sloganurilor pentru o campanie de fitness Exercise 4: Măsurarea calității și relevanței feedback-ului Exercise 5: Încredere scăzută Exercise 6: K-means pentru gruparea feedback-ului Exercise 7: Învățare activă Exercise 8: Implementarea unui pipeline de învățare activă

Exercițiul curent

Exercise 9: Buclă de învățare activă

În acest capitol, vei pătrunde în miezul antrenării prin Reinforcement Learning from Human Feedback. Vei explora ajustarea fină cu PPO, tehnici de antrenare eficientă și gestionarea potențialelor divergențe față de obiectivele metricilor tăi.

Exercise 1: Explorarea modelelor de recompensă Exercise 2: Inițializarea recompensei Exercise 3: Configurarea trainerului de recompensă Exercise 4: Antrenament cu PPO Exercise 5: Inițializează antrenorul PPO Exercise 6: Fine-tuning cu PPO Exercise 7: Ajustare eficientă în RLHF Exercise 8: Pregătire pentru antrenament pe 8 biți Exercise 9: Antrenament cu LoRA

Explorează tehnici esențiale pentru evaluarea și îmbunătățirea performanței modelelor în acest ultim capitol despre Reinforcement Learning from Human Feedback (RLHF): de la ajustarea metricilor până la integrarea unor surse diverse de feedback, vei dispune de un set complet de instrumente pentru a-ți rafina modelele eficient.

Exercise 1: Metrici și ajustări ale modelului Exercise 2: Atenuarea divergenței KL negative Exercise 3: Verificarea modelului de recompensă Exercise 4: Integrarea unor surse diverse de feedback Exercise 5: Votul majoritar pe mai multe surse de date Exercise 6: Identificarea surselor de date nesigure Exercise 7: Evaluarea modelelor RLHF Exercise 8: Interpretarea curbelor Exercise 9: Evaluarea RLHF cu metrici Exercise 10: Încheierea călătoriei tale RLHF