Trénování od začátku do konce

Představ si, že vedeš tým inženýrů a výzkumníků, kteří vyvíjejí LLM.

Tvým hlavním cílem je zajistit optimální výkon modelu tím, že správně propojíš všechny tři fáze trénování LLM: přípravu dat, trénování (předtrénování + fine-tuning) a pokročilý fine-tuning (RLHF).

Pomocí interaktivní aplikace seřaď 6 kroků celého trénovacího procesu LLM ve správném pořadí.

Jaká je správná posloupnost kroků při trénování špičkového jazykového modelu?

Toto cvičení je součástí kurzu

Koncepty velkých jazykových modelů (LLM)

Zobrazit kurz

Interaktivní praktické cvičení

Proměňte teorii v praxi s jedním z našich interaktivních cvičení

Začít cvičení

Toto cvičení je součástí kurzu

Koncepty velkých jazykových modelů (LLM)

SkillTag.level.beginnerSkillTag.label

4.8+

8922 reviews

Začněte kurz zdarma

Krajina umělé inteligence se rychle proměňuje a velké jazykové modely (LLM) stojí v čele tohoto vývoje. Tato kapitola zkoumá, jak LLM posouvají hranice umělé inteligence schopné lidského jazyka a transformují celá odvětví prostřednictvím rozmanitých aplikací. Prozkoumáš také výzvy a složitosti spojené s jazykovým modelováním.

Exercise 1: Vzestup LLM v oblasti umělé inteligence Exercise 2: Definice LLM Exercise 3: LLM v krajině AI Exercise 4: AI vs. LLM aplikace Exercise 5: Reálné aplikace Exercise 6: Obchodní aplikace Exercise 7: Multimodální aplikace Exercise 8: Automatizace datově řízených úloh Exercise 9: Výzvy jazykového modelování Exercise 10: Co dokáže jazykový model?Exercise 11: Single-task vs. multi-task learning

Tato kapitola se zaměřuje na novátorský charakter LLM a jejich emergentní schopnosti a představuje různé techniky NLP pro přípravu dat. Dozvíš se, jaké výzvy přináší trénování LLM a jak je lze efektivně řešit pomocí fine-tuningu. Pochopíš také, jak techniky N-shot learningu umožňují efektivní adaptaci předtrénovaných modelů v situacích s omezeným množstvím označených dat.

Exercise 1: Novinka v podobě LLM Exercise 2: Řešení problémů pomocí LLM Exercise 3: Tradiční modely vs. LLM Exercise 4: Obecný přehled NLP Exercise 5: Příprava dat Exercise 6: Předzpracování a reprezentace textu Exercise 7: Word embeddings vs. bag-of-words Exercise 8: Fine-tuning Exercise 9: Výzvy při budování LLM Exercise 10: Adaptace předtrénovaného modelu Exercise 11: Předtrénování, nebo fine-tuning?Exercise 12: Techniky učení Exercise 13: Doladění modelu Exercise 14: N-shot learning

V této kapitole se seznámíš se základními stavebními kameny trénování LLM, například s technikami předtrénování. Intuitivně pochopíš složité koncepty, jako je architektura transformeru včetně mechanismu pozornosti. Kapitola se věnuje také pokročilé technice fine-tuningu a shrnuje celý proces trénování vedoucí k dokončení LLM.

Exercise 1: Stavební kameny pro trénování LLM Exercise 2: Maskování jazyka Exercise 3: Předpověz další slovo Exercise 4: Budování od základů Exercise 5: Seznámení s transformerem Exercise 6: Vztahy mezi vzdálenými slovy Exercise 7: Komponenty transformeru Exercise 8: Mechanismy pozornosti Exercise 9: Na co se zaměřuje multi-head attention Exercise 10: Self-attention vs. multi-head attention Exercise 11: Pokročilé doladění Exercise 12: Trénování od začátku do konce

Aktuální cvičení

Exercise 13: Trénování, ladění a zpětná vazba Exercise 14: Tvorba LLM

V této kapitole se ponoříme do klíčových otázek trénování LLM – dostupnosti velkého množství dat, kvality dat, přesného označování a důsledků zkreslených dat. Prozkoumáš také různá rizika LLM, jako jsou ochrana soukromí, etické otázky a environmentální dopad. Závěr kapitoly se věnuje vznikajícím oblastem výzkumu a vyvíjejícímu se prostředí LLM.

Exercise 1: Datové aspekty a úvahy Exercise 2: Je tvůj model spravedlivý?Exercise 3: Nezkreslená a relevantní data Exercise 4: Zákaznický servis banky Exercise 5: Etické a environmentální ohledy Exercise 6: Odpovědné využití Exercise 7: Etika a životní prostředí Exercise 8: Kam LLM míří?Exercise 9: Kreativita vs. efektivita Exercise 10: Analýza literárních děl Exercise 11: Čas na shrnutí