Tato kapitola představuje LLMOps a fázi ideace při vývoji LLM aplikací. Vysvětluje základy LLMOps, popisuje jednotlivé fáze životního cyklu LLM a zaměřuje se na klíčové aktivity ve fázi ideace, jako je získávání dat a volba mezi open-source a proprietárními LLM.

Přehled LLMOps

LLMOps versus MLOps

Důležitost LLMOps

Životní cyklus LLM

Smysl fází životního cyklu

Životní cyklus aplikace

Fáze ideace

Získávání dat

Proprietární vs. open-source modely

Výběr správného základního modelu

Úvod do LLMOps a fáze ideace

Tato kapitola se zaměřuje na fázi vývoje LLM aplikací. Zabývá se prompt engineeringem, agenty a řetězci, technikami RAG a fine-tuningu a metodami testování.

Prompt engineering

Proč je prompt engineering důležitý

Vyzkoušej si prompt engineering

Sledování promptů

Řetězce a agenti

Rozdíl mezi agenty a chains

Výběr správné architektury

RAG versus fine-tuning

Workflow RAG

Porovnání RAG a fine-tuningu

Testování

Výběr správné metriky

Proč je testování důležité

Fáze vývoje

Tato kapitola se zaměřuje na provozní fázi nasazení a správy LLM aplikací. Projdeme si strategie nasazení jako CI/CD, techniky škálování, monitorovací postupy, strategie řízení nákladů a aspekty správy dat a bezpečnosti. Zvládnutí těchto konceptů ti pomůže efektivně spravovat LLM aplikace v produkčním prostředí.

Nasazení

Proč potřebujeme CI/CD

Možnosti

Horizontální škálování

Vertikální škálování

Správná strategie škálování

Monitoring a observabilita

Monitorování vstupů

Funkční monitorování

Monitorování výstupů

Monitorování aplikace

Zpracování alertů

Správa nákladů

ChatGPT

Komprese promptů

Sestavení odhadu nákladů

Governance a bezpečnost

Prompt injection

Otrava dat

Denial of service

Strategie zmírňování rizik

Integrita dat a data poisoning

Gratulujeme

Provozní fáze

Vydej se na cestu do světa operací s velkými jazykovými modely (LLMOps). Tento kurz je určen nadšencům i profesionálům a provede tě základy od prvotního nápadu až po nasazení do provozu.

Poznáš životní cyklus LLM aplikací a zjistíš, jakou klíčovou roli hrají v organizacích. Získáš přehled o výzvách a důležitých aspektech každé fáze, naučíš se, jak zefektivnit vývoj a zajistit hladké nasazení, a zároveň se seznámíš se správou dat a bezpečností. Po absolvování kurzu budeš mít pevné základy v konceptech LLMOps a budeš vědět, jak je uplatnit ve vlastních aplikacích.

<h2> Úvod do LLMOps </h2>

Vydejte se na cestu do provozu velkých jazykových modelů (LLMOps). Tento kurz, navržený pro nadšence i profesionály, vás provede základy od prvotního nápadu až po provozní nasazení.

<h2> Odemkněte základy </h2>

Začněte své objevování rozplétáním základů LLMOps. Pochopte jeho klíčovou roli v rámci organizačního prostředí a osvojte si základní koncepty LLM a LLMOps. Hlavním zaměřením tohoto kurzu není vytváření vlastního základního LLM. Místo toho je zaměřen na využití možností základního modelu pro použití ve vaší organizaci.

<h2> Procházejte životní cyklus </h2>

Ponoření do životního cyklu aplikací LLM odhalí jejich klíčovou roli v organizacích. Získáte přehled o výzvách a aspektech v každé fázi a o tom, jak zdokonalit vývoj a zajistit hladké nasazení při současném dodržování správy dat a zabezpečení. 

Po absolvování tohoto kurzu získáš nejen pevné porozumění LLMOps, ale také budeš tyto koncepty s jistotou uplatňovat ve své práci. Ať už teprve začínáš, nebo chceš prohloubit své znalosti, tento kurz ti pomůže zlepšit dovednosti a dovede tě k zvládnutí LLMOps.

Large Language Models (LLMs) Concepts

Poznejte LLMOps od nápadu po nasazení a zjistěte, jak je aplikovat na své aplikace.

Koncepty LLMOps

Poznejte LLMOps od nápadu po nasazení, získejte přehled o životním cyklu i výzvách a naučte se tyto koncepty použít ve svých aplikacích.

Asociovaný AI inženýr pro vývojáře

Vývoj velkých jazykových modelů

Mezi 17. a 18. hodinou dochází k desetinásobnému nárůstu provozu na tvém modelu, se kterým je potřeba počítat

Předpokládáš, že se uživatelská základna modelu bude každý měsíc zdvojnásobovat, případně i rychleji, takže musíš zajistit, aby aplikace tento růst zvládla

Aby byla tvoje aplikace více real-time, musíš zkrátit dobu odezvy pro každý jednotlivý požadavek

U některých konkrétních požadavků aplikace přesahuje dostupnou paměť, a to i při nízkém provozu

Správná strategie škálování

Koncepty LLMOps

Interaktivní praktické cvičení