Tato kapitola tě seznámí se základy Reinforcement Learning with Human Feedback (RLHF) – techniky, která využívá lidský vstup k efektivnějšímu učení AI modelů. Začni s RLHF tím, že pochopíš, čím se liší od tradičního reinforcement learningu a proč může lidská zpětná vazba zlepšit výkon AI v různých oblastech.

Úvod do RLHF

Generování textu s RLHF

Klasifikace generovaného textu pro RLHF

RL vs. RLHF

Prozkoumání předtrénovaných LLM

Tokenizace textového datasetu

Fine-tuning pro klasifikaci recenzí

Příprava dat pro RLHF

Příprava preference datasetu

Extrakce promptů

Základní koncepty

Zjisti, jak nastavit systémy pro sběr lidské zpětné vazby. Naučíš se osvědčené postupy pro získávání kvalitních dat – od párového porovnávání po uncertainty sampling – a prozkoumáš strategie, jak sběr dat ještě vylepšit.

Metody pro sběr kvalitní zpětné vazby

Možnosti

Porovnávání

Hodnocení

Porovnávání a hodnocení v RLHF

Porovnávání sloganů pro kampaň fitness centra

Měření kvality a relevance zpětné vazby

Nízká míra jistoty

K-means pro shlukování zpětné vazby

Aktivní učení

Implementace pipeline aktivního učení

Smyčka aktivního učení

Sběr lidské zpětné vazby

V této kapitole se dostaneš k jádru tréninku Reinforcement Learning from Human Feedback. Prozkoumáš fine-tuning s PPO, techniky efektivního trénování a způsoby, jak zvládat potenciální odchylky od cílů tvých metrik.

Reward modely v praxi

Inicializace odměny

Nastavení reward traineru

Trénink s PPO

Inicializace PPO trenéra

Fine-tuning s PPO

Efektivní fine-tuning v RLHF

Příprava na 8bitový trénink

Trénink s LoRA

Ladění modelů pomocí lidské zpětné vazby

V poslední kapitole kurzu Reinforcement Learning from Human Feedback (RLHF) prozkoumáš klíčové techniky pro hodnocení a zlepšování výkonu modelů: od ladění metrik až po zapojení různorodých zdrojů zpětné vazby. Získáš komplexní sadu nástrojů pro efektivní vylepšování svých modelů.

Metriky modelů a jejich úpravy

Zmírnění negativní KL divergence

Kontrola modelu odměn

Zapojení různorodých zdrojů zpětné vazby

Hlasování většiny z více datových zdrojů

Identifikace nespolehlivých zdrojů dat

Vyhodnocování RLHF modelů

Interpretace křivek

Hodnocení RLHF pomocí metrik

Zakončení tvé cesty s RLHF

Vyhodnocování modelů

Spoj efektivitu generativní AI s porozuměním lidských expertů v tomto kurzu o Reinforcement Learning from Human Feedback. Naučíš se, jak přimět modely GenAI, aby skutečně odrážely lidské hodnoty a preference, a získáš praktické zkušenosti s LLM. Kromě toho prozkoumáš složitosti reward modelů a zjistíš, jak na základě LLM vytvořit AI, která se nejen učí, ale také přizpůsobuje reálným situacím.

Deep Reinforcement Learning in Python

Naučte se, jak přimět GenAI modely odrážet lidské hodnoty a získat praxi s pokročilými LLMs.

Reinforcement Learning from Human Feedback (RLHF)

Naučte se, jak zajistit, aby modely GenAI skutečně odrážely lidské hodnoty, a získejte praktické zkušenosti s pokročilými LLM.

Vývoj velkých jazykových modelů

Učení s posilováním v Pythonu

Vyber, který z následujících filmů je lepší: „Interstellar", nebo „Oppenheimer"

Ohodnoť každý film skóre od 1 do 5 podle důležitosti: „Titanic", „Gladiator", „Interstellar"

Porovnávání a hodnocení v RLHF

Reinforcement Learning from Human Feedback (RLHF)

Interaktivní praktické cvičení