Předpověz další slovo

Pracuješ na trénování LLM pomocí předpovídání dalšího slova. Modelu jsi poskytl/a tato trénovací data, ze kterých se učí pracovat s textem.

Použij interaktivní aplikaci k procházení sekvence a sleduj, jak model postupně sestavuje svou předpověď slovo po slovu, včetně pravděpodobnosti každého kandidátního doplnění.

Jaká by byla správná předpověď pro další slovo (slova)?

Toto cvičení je součástí kurzu

Koncepty velkých jazykových modelů (LLM)

Interaktivní praktické cvičení

Proměňte teorii v praxi s jedním z našich interaktivních cvičení

Začít cvičení

Toto cvičení je součástí kurzu

Koncepty velkých jazykových modelů (LLM)

SkillTag.level.beginnerSkillTag.label

4.8+

Začněte kurz zdarma

Krajina umělé inteligence se rychle proměňuje a velké jazykové modely (LLM) stojí v čele tohoto vývoje. Tato kapitola zkoumá, jak LLM posouvají hranice umělé inteligence schopné lidského jazyka a transformují celá odvětví prostřednictvím rozmanitých aplikací. Prozkoumáš také výzvy a složitosti spojené s jazykovým modelováním.

Exercise 1: Vzestup LLM v oblasti umělé inteligence Exercise 2: Definice LLM Exercise 3: LLM v krajině AI Exercise 4: AI vs. LLM aplikace Exercise 5: Reálné aplikace Exercise 6: Obchodní aplikace Exercise 7: Multimodální aplikace Exercise 8: Automatizace datově řízených úloh Exercise 9: Výzvy jazykového modelování Exercise 10: Co dokáže jazykový model?Exercise 11: Single-task vs. multi-task learning

Tato kapitola se zaměřuje na novátorský charakter LLM a jejich emergentní schopnosti a představuje různé techniky NLP pro přípravu dat. Dozvíš se, jaké výzvy přináší trénování LLM a jak je lze efektivně řešit pomocí fine-tuningu. Pochopíš také, jak techniky N-shot learningu umožňují efektivní adaptaci předtrénovaných modelů v situacích s omezeným množstvím označených dat.

Exercise 1: Novinka v podobě LLM Exercise 2: Řešení problémů pomocí LLM Exercise 3: Tradiční modely vs. LLM Exercise 4: Obecný přehled NLP Exercise 5: Příprava dat Exercise 6: Předzpracování a reprezentace textu Exercise 7: Word embeddings vs. bag-of-words Exercise 8: Fine-tuning Exercise 9: Výzvy při budování LLM Exercise 10: Adaptace předtrénovaného modelu Exercise 11: Předtrénování, nebo fine-tuning?Exercise 12: Techniky učení Exercise 13: Doladění modelu Exercise 14: N-shot learning

V této kapitole se seznámíš se základními stavebními kameny trénování LLM, například s technikami předtrénování. Intuitivně pochopíš složité koncepty, jako je architektura transformeru včetně mechanismu pozornosti. Kapitola se věnuje také pokročilé technice fine-tuningu a shrnuje celý proces trénování vedoucí k dokončení LLM.

Exercise 1: Stavební kameny pro trénování LLM Exercise 2: Maskování jazyka Exercise 3: Předpověz další slovo

Aktuální cvičení

Exercise 4: Budování od základů Exercise 5: Seznámení s transformerem Exercise 6: Vztahy mezi vzdálenými slovy Exercise 7: Komponenty transformeru Exercise 8: Mechanismy pozornosti Exercise 9: Na co se zaměřuje multi-head attention Exercise 10: Self-attention vs. multi-head attention Exercise 11: Pokročilé doladění Exercise 12: Trénování od začátku do konce Exercise 13: Trénování, ladění a zpětná vazba Exercise 14: Tvorba LLM

V této kapitole se ponoříme do klíčových otázek trénování LLM – dostupnosti velkého množství dat, kvality dat, přesného označování a důsledků zkreslených dat. Prozkoumáš také různá rizika LLM, jako jsou ochrana soukromí, etické otázky a environmentální dopad. Závěr kapitoly se věnuje vznikajícím oblastem výzkumu a vyvíjejícímu se prostředí LLM.

Exercise 1: Datové aspekty a úvahy Exercise 2: Je tvůj model spravedlivý?Exercise 3: Nezkreslená a relevantní data Exercise 4: Zákaznický servis banky Exercise 5: Etické a environmentální ohledy Exercise 6: Odpovědné využití Exercise 7: Etika a životní prostředí Exercise 8: Kam LLM míří?Exercise 9: Kreativita vs. efektivita Exercise 10: Analýza literárních děl Exercise 11: Čas na shrnutí