K-means pentru gruparea feedback-ului

Ai un set de date cu răspunsuri de feedback și ai folosit un model GPT pentru a calcula scoruri de încredere pentru fiecare răspuns. Pentru a identifica feedback-ul neobișnuit sau valorile aberante, aplici algoritmul k-means pe răspunsurile cu încredere scăzută.

Algoritmul KMeans, variabilele reviews și confidences, precum și biblioteca np au fost preîncărcate.

Acest exercițiu face parte din cursul

Reinforcement Learning from Human Feedback (RLHF)

Instrucțiuni pentru exercițiu

Inițializează algoritmul k-means. Setează random_state la 42 pentru reproductibilitatea codului.
Calculează distanțele față de centrele clusterelor pentru a identifica valorile aberante, ca diferență dintre data și centrele clusterelor corespunzătoare.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

def detect_anomalies(data, n_clusters=3):
    # Initialize k-means
    ____
    clusters = kmeans.fit_predict(data)
    centers = kmeans.cluster_centers_

    # Calculate distances from cluster centers
    ____
    return distances
  
anomalies = detect_anomalies(confidences)
print(anomalies)

Editează și rulează codul

Acest exercițiu face parte din cursul

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

Acest capitol introduce elementele de bază ale Reinforcement Learning with Human Feedback (RLHF), o tehnică ce folosește input-ul uman pentru a ajuta modelele AI să învețe mai eficient. Începe cu RLHF înțelegând cum diferă de reinforcement learning-ul tradițional și de ce feedback-ul uman poate îmbunătăți performanța AI în diverse domenii.

Exercise 1: Introducere în RLHF Exercise 2: Generarea de text cu RLHF Exercise 3: Clasificarea textului generat pentru RLHF Exercise 4: RL vs. RLHF Exercise 5: Explorarea LLM-urilor pre-antrenate Exercise 6: Tokenizarea unui set de date text Exercise 7: Ajustarea fină pentru clasificarea recenziilor Exercise 8: Pregătirea datelor pentru RLHF Exercise 9: Pregătirea setului de date cu preferințe Exercise 10: Extragerea prompturilor

Descoperă cum să configurezi sisteme pentru colectarea feedback-ului uman în acest capitol. Învață cele mai bune practici pentru colectarea datelor de calitate, de la comparații pereche până la eșantionarea prin incertitudine, și explorează strategii pentru îmbunătățirea colectării datelor.

Exercise 1: Metode pentru colectarea unui feedback de calitate Exercise 2: Înțelegerea comparației și a evaluării în RLHF Exercise 3: Compararea sloganurilor pentru o campanie de fitness Exercise 4: Măsurarea calității și relevanței feedback-ului Exercise 5: Încredere scăzută Exercise 6: K-means pentru gruparea feedback-ului

Exercițiul curent

Exercise 7: Învățare activă Exercise 8: Implementarea unui pipeline de învățare activă Exercise 9: Buclă de învățare activă

În acest capitol, vei pătrunde în miezul antrenării prin Reinforcement Learning from Human Feedback. Vei explora ajustarea fină cu PPO, tehnici de antrenare eficientă și gestionarea potențialelor divergențe față de obiectivele metricilor tăi.

Exercise 1: Explorarea modelelor de recompensă Exercise 2: Inițializarea recompensei Exercise 3: Configurarea trainerului de recompensă Exercise 4: Antrenament cu PPO Exercise 5: Inițializează antrenorul PPO Exercise 6: Fine-tuning cu PPO Exercise 7: Ajustare eficientă în RLHF Exercise 8: Pregătire pentru antrenament pe 8 biți Exercise 9: Antrenament cu LoRA

Explorează tehnici esențiale pentru evaluarea și îmbunătățirea performanței modelelor în acest ultim capitol despre Reinforcement Learning from Human Feedback (RLHF): de la ajustarea metricilor până la integrarea unor surse diverse de feedback, vei dispune de un set complet de instrumente pentru a-ți rafina modelele eficient.

Exercise 1: Metrici și ajustări ale modelului Exercise 2: Atenuarea divergenței KL negative Exercise 3: Verificarea modelului de recompensă Exercise 4: Integrarea unor surse diverse de feedback Exercise 5: Votul majoritar pe mai multe surse de date Exercise 6: Identificarea surselor de date nesigure Exercise 7: Evaluarea modelelor RLHF Exercise 8: Interpretarea curbelor Exercise 9: Evaluarea RLHF cu metrici Exercise 10: Încheierea călătoriei tale RLHF