Trénování, ladění a zpětná vazba

Pracuješ na projektu vývoje modelu pomocí techniky Reinforcement Learning through Human Feedback (RLHF), jehož cílem je optimalizovat výkon v prostředí zákaznické podpory.

Která z následujících možností nejpřesněji popisuje proces RLHF?

Toto cvičení je součástí kurzu

Koncepty velkých jazykových modelů (LLM)

Interaktivní praktické cvičení

Proměňte teorii v praxi s jedním z našich interaktivních cvičení

Začít cvičení

Toto cvičení je součástí kurzu

Koncepty velkých jazykových modelů (LLM)

SkillTag.level.beginnerSkillTag.label

4.8+

Začněte kurz zdarma

Krajina umělé inteligence se rychle proměňuje a velké jazykové modely (LLM) stojí v čele tohoto vývoje. Tato kapitola zkoumá, jak LLM posouvají hranice umělé inteligence schopné lidského jazyka a transformují celá odvětví prostřednictvím rozmanitých aplikací. Prozkoumáš také výzvy a složitosti spojené s jazykovým modelováním.

Exercise 1: Vzestup LLM v oblasti umělé inteligence Exercise 2: Definice LLM Exercise 3: LLM v krajině AI Exercise 4: AI vs. LLM aplikace Exercise 5: Reálné aplikace Exercise 6: Obchodní aplikace Exercise 7: Multimodální aplikace Exercise 8: Automatizace datově řízených úloh Exercise 9: Výzvy jazykového modelování Exercise 10: Co dokáže jazykový model?Exercise 11: Single-task vs. multi-task learning

Tato kapitola se zaměřuje na novátorský charakter LLM a jejich emergentní schopnosti a představuje různé techniky NLP pro přípravu dat. Dozvíš se, jaké výzvy přináší trénování LLM a jak je lze efektivně řešit pomocí fine-tuningu. Pochopíš také, jak techniky N-shot learningu umožňují efektivní adaptaci předtrénovaných modelů v situacích s omezeným množstvím označených dat.

Exercise 1: Novinka v podobě LLM Exercise 2: Řešení problémů pomocí LLM Exercise 3: Tradiční modely vs. LLM Exercise 4: Obecný přehled NLP Exercise 5: Příprava dat Exercise 6: Předzpracování a reprezentace textu Exercise 7: Word embeddings vs. bag-of-words Exercise 8: Fine-tuning Exercise 9: Výzvy při budování LLM Exercise 10: Adaptace předtrénovaného modelu Exercise 11: Předtrénování, nebo fine-tuning?Exercise 12: Techniky učení Exercise 13: Doladění modelu Exercise 14: N-shot learning

V této kapitole se seznámíš se základními stavebními kameny trénování LLM, například s technikami předtrénování. Intuitivně pochopíš složité koncepty, jako je architektura transformeru včetně mechanismu pozornosti. Kapitola se věnuje také pokročilé technice fine-tuningu a shrnuje celý proces trénování vedoucí k dokončení LLM.

Exercise 1: Stavební kameny pro trénování LLM Exercise 2: Maskování jazyka Exercise 3: Předpověz další slovo Exercise 4: Budování od základů Exercise 5: Seznámení s transformerem Exercise 6: Vztahy mezi vzdálenými slovy Exercise 7: Komponenty transformeru Exercise 8: Mechanismy pozornosti Exercise 9: Na co se zaměřuje multi-head attention Exercise 10: Self-attention vs. multi-head attention Exercise 11: Pokročilé doladění Exercise 12: Trénování od začátku do konce Exercise 13: Trénování, ladění a zpětná vazba

Aktuální cvičení

Exercise 14: Tvorba LLM

V této kapitole se ponoříme do klíčových otázek trénování LLM – dostupnosti velkého množství dat, kvality dat, přesného označování a důsledků zkreslených dat. Prozkoumáš také různá rizika LLM, jako jsou ochrana soukromí, etické otázky a environmentální dopad. Závěr kapitoly se věnuje vznikajícím oblastem výzkumu a vyvíjejícímu se prostředí LLM.

Exercise 1: Datové aspekty a úvahy Exercise 2: Je tvůj model spravedlivý?Exercise 3: Nezkreslená a relevantní data Exercise 4: Zákaznický servis banky Exercise 5: Etické a environmentální ohledy Exercise 6: Odpovědné využití Exercise 7: Etika a životní prostředí Exercise 8: Kam LLM míří?Exercise 9: Kreativita vs. efektivita Exercise 10: Analýza literárních děl Exercise 11: Čas na shrnutí