Adaptace předtrénovaného modelu

Právě ses zapojil/a do zajímavého projektu, jehož cílem je klasifikovat právní dokumenty pomocí technik NLP. Tvůj tým má k dispozici předtrénovaný jazykový model, který byl původně natrénován na zpravodajských článcích. Aby byl projekt úspěšný, je potřeba tento model přizpůsobit pro efektivní klasifikaci právních dokumentů.

Jak lze přizpůsobit předtrénovaný jazykový model – původně natrénovaný na jiném typu textu, například na zpravodajských článcích – ke klasifikaci právních dokumentů?

Toto cvičení je součástí kurzu

Koncepty velkých jazykových modelů (LLM)

Zobrazit kurz

Interaktivní praktické cvičení

Proměňte teorii v praxi s jedním z našich interaktivních cvičení

Začít cvičení

Toto cvičení je součástí kurzu

Koncepty velkých jazykových modelů (LLM)

SkillTag.level.beginnerSkillTag.label

4.8+

8921 reviews

Začněte kurz zdarma

Krajina umělé inteligence se rychle proměňuje a velké jazykové modely (LLM) stojí v čele tohoto vývoje. Tato kapitola zkoumá, jak LLM posouvají hranice umělé inteligence schopné lidského jazyka a transformují celá odvětví prostřednictvím rozmanitých aplikací. Prozkoumáš také výzvy a složitosti spojené s jazykovým modelováním.

Exercise 1: Vzestup LLM v oblasti umělé inteligence Exercise 2: Definice LLM Exercise 3: LLM v krajině AI Exercise 4: AI vs. LLM aplikace Exercise 5: Reálné aplikace Exercise 6: Obchodní aplikace Exercise 7: Multimodální aplikace Exercise 8: Automatizace datově řízených úloh Exercise 9: Výzvy jazykového modelování Exercise 10: Co dokáže jazykový model?Exercise 11: Single-task vs. multi-task learning

Tato kapitola se zaměřuje na novátorský charakter LLM a jejich emergentní schopnosti a představuje různé techniky NLP pro přípravu dat. Dozvíš se, jaké výzvy přináší trénování LLM a jak je lze efektivně řešit pomocí fine-tuningu. Pochopíš také, jak techniky N-shot learningu umožňují efektivní adaptaci předtrénovaných modelů v situacích s omezeným množstvím označených dat.

Exercise 1: Novinka v podobě LLM Exercise 2: Řešení problémů pomocí LLM Exercise 3: Tradiční modely vs. LLM Exercise 4: Obecný přehled NLP Exercise 5: Příprava dat Exercise 6: Předzpracování a reprezentace textu Exercise 7: Word embeddings vs. bag-of-words Exercise 8: Fine-tuning Exercise 9: Výzvy při budování LLM Exercise 10: Adaptace předtrénovaného modelu

Aktuální cvičení

Exercise 11: Předtrénování, nebo fine-tuning?Exercise 12: Techniky učení Exercise 13: Doladění modelu Exercise 14: N-shot learning

V této kapitole se seznámíš se základními stavebními kameny trénování LLM, například s technikami předtrénování. Intuitivně pochopíš složité koncepty, jako je architektura transformeru včetně mechanismu pozornosti. Kapitola se věnuje také pokročilé technice fine-tuningu a shrnuje celý proces trénování vedoucí k dokončení LLM.

Exercise 1: Stavební kameny pro trénování LLM Exercise 2: Maskování jazyka Exercise 3: Předpověz další slovo Exercise 4: Budování od základů Exercise 5: Seznámení s transformerem Exercise 6: Vztahy mezi vzdálenými slovy Exercise 7: Komponenty transformeru Exercise 8: Mechanismy pozornosti Exercise 9: Na co se zaměřuje multi-head attention Exercise 10: Self-attention vs. multi-head attention Exercise 11: Pokročilé doladění Exercise 12: Trénování od začátku do konce Exercise 13: Trénování, ladění a zpětná vazba Exercise 14: Tvorba LLM

V této kapitole se ponoříme do klíčových otázek trénování LLM – dostupnosti velkého množství dat, kvality dat, přesného označování a důsledků zkreslených dat. Prozkoumáš také různá rizika LLM, jako jsou ochrana soukromí, etické otázky a environmentální dopad. Závěr kapitoly se věnuje vznikajícím oblastem výzkumu a vyvíjejícímu se prostředí LLM.

Exercise 1: Datové aspekty a úvahy Exercise 2: Je tvůj model spravedlivý?Exercise 3: Nezkreslená a relevantní data Exercise 4: Zákaznický servis banky Exercise 5: Etické a environmentální ohledy Exercise 6: Odpovědné využití Exercise 7: Etika a životní prostředí Exercise 8: Kam LLM míří?Exercise 9: Kreativita vs. efektivita Exercise 10: Analýza literárních děl Exercise 11: Čas na shrnutí