Compararea sloganurilor pentru o campanie de fitness

Lucrezi cu o agenție de publicitate pentru a evalua două modele care generează sloganuri pentru o campanie de fitness. Fiecare model a produs o listă de sloganuri cu scoruri de eficiență corespunzătoare. Sarcina ta este să compari sloganurile generate de fiecare model, să determini care model este mai bun în ansamblu și să calculezi rata de succes a fiecărui model.

Sloganurile au fost preîncărcate ca slogans_X și slogans_Y, liste de tupluri care conțin sloganul și scorul său.

Acest exercițiu face parte din cursul

Reinforcement Learning from Human Feedback (RLHF)

Instrucțiuni pentru exercițiu

Pentru fiecare pereche de sloganuri, dacă scorul sloganului X este mai mare, incrementează wins_X cu 1; dacă scorul sloganului Y este mai mare, incrementează wins_Y cu 1.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

def evaluate_slogans(slogans_X, slogans_Y):
    wins_X, wins_Y = 0, 0
    for (slogan_X, score_X), (slogan_Y, score_Y) in zip(slogans_X, slogans_Y):
        # Assign one point to X if score X is higher, otherwise to Y
        ____
    success_rate_X = (wins_X / len(slogans_X)) * 100
    success_rate_Y = (wins_Y / len(slogans_Y)) * 100
    return success_rate_X, success_rate_Y

results = evaluate_slogans(slogans_X, slogans_Y)
print(f"The resulting scores are {results}")

Editează și rulează codul

Acest exercițiu face parte din cursul

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

Acest capitol introduce elementele de bază ale Reinforcement Learning with Human Feedback (RLHF), o tehnică ce folosește input-ul uman pentru a ajuta modelele AI să învețe mai eficient. Începe cu RLHF înțelegând cum diferă de reinforcement learning-ul tradițional și de ce feedback-ul uman poate îmbunătăți performanța AI în diverse domenii.

Exercise 1: Introducere în RLHF Exercise 2: Generarea de text cu RLHF Exercise 3: Clasificarea textului generat pentru RLHF Exercise 4: RL vs. RLHF Exercise 5: Explorarea LLM-urilor pre-antrenate Exercise 6: Tokenizarea unui set de date text Exercise 7: Ajustarea fină pentru clasificarea recenziilor Exercise 8: Pregătirea datelor pentru RLHF Exercise 9: Pregătirea setului de date cu preferințe Exercise 10: Extragerea prompturilor

Descoperă cum să configurezi sisteme pentru colectarea feedback-ului uman în acest capitol. Învață cele mai bune practici pentru colectarea datelor de calitate, de la comparații pereche până la eșantionarea prin incertitudine, și explorează strategii pentru îmbunătățirea colectării datelor.

Exercise 1: Metode pentru colectarea unui feedback de calitate Exercise 2: Înțelegerea comparației și a evaluării în RLHF Exercise 3: Compararea sloganurilor pentru o campanie de fitness

Exercițiul curent

Exercise 4: Măsurarea calității și relevanței feedback-ului Exercise 5: Încredere scăzută Exercise 6: K-means pentru gruparea feedback-ului Exercise 7: Învățare activă Exercise 8: Implementarea unui pipeline de învățare activă Exercise 9: Buclă de învățare activă

În acest capitol, vei pătrunde în miezul antrenării prin Reinforcement Learning from Human Feedback. Vei explora ajustarea fină cu PPO, tehnici de antrenare eficientă și gestionarea potențialelor divergențe față de obiectivele metricilor tăi.

Exercise 1: Explorarea modelelor de recompensă Exercise 2: Inițializarea recompensei Exercise 3: Configurarea trainerului de recompensă Exercise 4: Antrenament cu PPO Exercise 5: Inițializează antrenorul PPO Exercise 6: Fine-tuning cu PPO Exercise 7: Ajustare eficientă în RLHF Exercise 8: Pregătire pentru antrenament pe 8 biți Exercise 9: Antrenament cu LoRA

Explorează tehnici esențiale pentru evaluarea și îmbunătățirea performanței modelelor în acest ultim capitol despre Reinforcement Learning from Human Feedback (RLHF): de la ajustarea metricilor până la integrarea unor surse diverse de feedback, vei dispune de un set complet de instrumente pentru a-ți rafina modelele eficient.

Exercise 1: Metrici și ajustări ale modelului Exercise 2: Atenuarea divergenței KL negative Exercise 3: Verificarea modelului de recompensă Exercise 4: Integrarea unor surse diverse de feedback Exercise 5: Votul majoritar pe mai multe surse de date Exercise 6: Identificarea surselor de date nesigure Exercise 7: Evaluarea modelelor RLHF Exercise 8: Interpretarea curbelor Exercise 9: Evaluarea RLHF cu metrici Exercise 10: Încheierea călătoriei tale RLHF