Porovnávání sloganů pro kampaň fitness centra

Spolupracuješ s reklamní agenturou na vyhodnocení dvou modelů, které generují slogany pro kampaň fitness centra. Každý model vytvořil seznam sloganů spolu s odpovídajícím skóre efektivity. Tvým úkolem je porovnat slogany vygenerované jednotlivými modely, zjistit, který model je celkově lepší, a vypočítat míru úspěšnosti každého z nich.

Slogany jsou předem načteny jako slogans_X a slogans_Y — jde o seznamy n-tic obsahujících slogan a jeho skóre.

Toto cvičení je součástí kurzu

Reinforcement Learning from Human Feedback (RLHF)

Pokyny k cvičení

Pro každý pár sloganů: pokud je skóre sloganu X vyšší, zvyš wins_X o 1; pokud je vyšší skóre sloganu Y, zvyš wins_Y o 1.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

def evaluate_slogans(slogans_X, slogans_Y):
    wins_X, wins_Y = 0, 0
    for (slogan_X, score_X), (slogan_Y, score_Y) in zip(slogans_X, slogans_Y):
        # Assign one point to X if score X is higher, otherwise to Y
        ____
    success_rate_X = (wins_X / len(slogans_X)) * 100
    success_rate_Y = (wins_Y / len(slogans_Y)) * 100
    return success_rate_X, success_rate_Y

results = evaluate_slogans(slogans_X, slogans_Y)
print(f"The resulting scores are {results}")

Upravit a spustit kód

Toto cvičení je součástí kurzu

Reinforcement Learning from Human Feedback (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Začněte kurz zdarma

Tato kapitola tě seznámí se základy Reinforcement Learning with Human Feedback (RLHF) – techniky, která využívá lidský vstup k efektivnějšímu učení AI modelů. Začni s RLHF tím, že pochopíš, čím se liší od tradičního reinforcement learningu a proč může lidská zpětná vazba zlepšit výkon AI v různých oblastech.

Exercise 1: Úvod do RLHF Exercise 2: Generování textu s RLHF Exercise 3: Klasifikace generovaného textu pro RLHF Exercise 4: RL vs. RLHF Exercise 5: Prozkoumání předtrénovaných LLM Exercise 6: Tokenizace textového datasetu Exercise 7: Fine-tuning pro klasifikaci recenzí Exercise 8: Příprava dat pro RLHF Exercise 9: Příprava preference datasetu Exercise 10: Extrakce promptů

Zjisti, jak nastavit systémy pro sběr lidské zpětné vazby. Naučíš se osvědčené postupy pro získávání kvalitních dat – od párového porovnávání po uncertainty sampling – a prozkoumáš strategie, jak sběr dat ještě vylepšit.

Exercise 1: Metody pro sběr kvalitní zpětné vazby Exercise 2: Porovnávání a hodnocení v RLHF Exercise 3: Porovnávání sloganů pro kampaň fitness centra

Aktuální cvičení

Exercise 4: Měření kvality a relevance zpětné vazby Exercise 5: Nízká míra jistoty Exercise 6: K-means pro shlukování zpětné vazby Exercise 7: Aktivní učení Exercise 8: Implementace pipeline aktivního učení Exercise 9: Smyčka aktivního učení

V této kapitole se dostaneš k jádru tréninku Reinforcement Learning from Human Feedback. Prozkoumáš fine-tuning s PPO, techniky efektivního trénování a způsoby, jak zvládat potenciální odchylky od cílů tvých metrik.

Exercise 1: Reward modely v praxi Exercise 2: Inicializace odměny Exercise 3: Nastavení reward traineru Exercise 4: Trénink s PPO Exercise 5: Inicializace PPO trenéra Exercise 6: Fine-tuning s PPO Exercise 7: Efektivní fine-tuning v RLHF Exercise 8: Příprava na 8bitový trénink Exercise 9: Trénink s LoRA

V poslední kapitole kurzu Reinforcement Learning from Human Feedback (RLHF) prozkoumáš klíčové techniky pro hodnocení a zlepšování výkonu modelů: od ladění metrik až po zapojení různorodých zdrojů zpětné vazby. Získáš komplexní sadu nástrojů pro efektivní vylepšování svých modelů.

Exercise 1: Metriky modelů a jejich úpravy Exercise 2: Zmírnění negativní KL divergence Exercise 3: Kontrola modelu odměn Exercise 4: Zapojení různorodých zdrojů zpětné vazby Exercise 5: Hlasování většiny z více datových zdrojů Exercise 6: Identifikace nespolehlivých zdrojů dat Exercise 7: Vyhodnocování RLHF modelů Exercise 8: Interpretace křivek Exercise 9: Hodnocení RLHF pomocí metrik Exercise 10: Zakončení tvé cesty s RLHF