Buclă de învățare activă

Acum că ai configurat agentul de învățare activă, e timpul să îl pui în practică! În acest exercițiu, vei implementa o buclă care permite îmbunătățirea continuă a categorizării datelor.

Setul de date a fost încărcat cu X_labeled pentru datele de antrenament etichетate, X_unlabeled pentru datele de antrenament neetichеtate și y_labeled pentru etichete.

Оbiectul learner a fost pre-importat.

Acest exercițiu face parte din cursul

Reinforcement Learning from Human Feedback (RLHF)

Instrucțiuni pentru exercițiu

Implementează o buclă care va rula 10 interogări.
La fiecare iterație, lasă agentul să se antreneze singur folosind datele etichetate curente.
Folosește agentul pentru a interoga cele mai incerte puncte de date din datele neetichеtate, setând numărul de instanțe la 5.
Actualizează corespunzător setul de date neetichеtate.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Set the number of queries
____
for _ in range(n_queries):
    # Use the current labeled data
    ____
    # Query from unlabeled data
    query_idx, _ = ____  
    X_new, y_new = X_unlabeled[query_idx], y[query_idx]  
    X_labeled = np.vstack((X_labeled, X_new))  
    y_labeled = np.append(y_labeled, y_new)  
    # Update the unlabeled dataset
    X_unlabeled = np.delete(____, query_idx, axis=0)

Editează și rulează codul

Acest exercițiu face parte din cursul

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

Acest capitol introduce elementele de bază ale Reinforcement Learning with Human Feedback (RLHF), o tehnică ce folosește input-ul uman pentru a ajuta modelele AI să învețe mai eficient. Începe cu RLHF înțelegând cum diferă de reinforcement learning-ul tradițional și de ce feedback-ul uman poate îmbunătăți performanța AI în diverse domenii.

Exercise 1: Introducere în RLHF Exercise 2: Generarea de text cu RLHF Exercise 3: Clasificarea textului generat pentru RLHF Exercise 4: RL vs. RLHF Exercise 5: Explorarea LLM-urilor pre-antrenate Exercise 6: Tokenizarea unui set de date text Exercise 7: Ajustarea fină pentru clasificarea recenziilor Exercise 8: Pregătirea datelor pentru RLHF Exercise 9: Pregătirea setului de date cu preferințe Exercise 10: Extragerea prompturilor

Descoperă cum să configurezi sisteme pentru colectarea feedback-ului uman în acest capitol. Învață cele mai bune practici pentru colectarea datelor de calitate, de la comparații pereche până la eșantionarea prin incertitudine, și explorează strategii pentru îmbunătățirea colectării datelor.

Exercise 1: Metode pentru colectarea unui feedback de calitate Exercise 2: Înțelegerea comparației și a evaluării în RLHF Exercise 3: Compararea sloganurilor pentru o campanie de fitness Exercise 4: Măsurarea calității și relevanței feedback-ului Exercise 5: Încredere scăzută Exercise 6: K-means pentru gruparea feedback-ului Exercise 7: Învățare activă Exercise 8: Implementarea unui pipeline de învățare activă Exercise 9: Buclă de învățare activă

Exercițiul curent

În acest capitol, vei pătrunde în miezul antrenării prin Reinforcement Learning from Human Feedback. Vei explora ajustarea fină cu PPO, tehnici de antrenare eficientă și gestionarea potențialelor divergențe față de obiectivele metricilor tăi.

Exercise 1: Explorarea modelelor de recompensă Exercise 2: Inițializarea recompensei Exercise 3: Configurarea trainerului de recompensă Exercise 4: Antrenament cu PPO Exercise 5: Inițializează antrenorul PPO Exercise 6: Fine-tuning cu PPO Exercise 7: Ajustare eficientă în RLHF Exercise 8: Pregătire pentru antrenament pe 8 biți Exercise 9: Antrenament cu LoRA

Explorează tehnici esențiale pentru evaluarea și îmbunătățirea performanței modelelor în acest ultim capitol despre Reinforcement Learning from Human Feedback (RLHF): de la ajustarea metricilor până la integrarea unor surse diverse de feedback, vei dispune de un set complet de instrumente pentru a-ți rafina modelele eficient.

Exercise 1: Metrici și ajustări ale modelului Exercise 2: Atenuarea divergenței KL negative Exercise 3: Verificarea modelului de recompensă Exercise 4: Integrarea unor surse diverse de feedback Exercise 5: Votul majoritar pe mai multe surse de date Exercise 6: Identificarea surselor de date nesigure Exercise 7: Evaluarea modelelor RLHF Exercise 8: Interpretarea curbelor Exercise 9: Evaluarea RLHF cu metrici Exercise 10: Încheierea călătoriei tale RLHF