Моніторинг вашого застосунку

Ви розробили застосунок‑чатбот на базі LLM для вашої організації. Тепер ваше завдання — моніторити та відстежувати ефективність цього чатбота. Визначте для кожного зі сценаріїв, чи потрібно розробити стратегію моніторингу введення, функціонального моніторингу чи моніторингу виводу.

Ця вправа є частиною курсу

Концепції LLMOps

Переглянути курс

Практична інтерактивна вправа

Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ

Почати вправу

Ця вправа є частиною курсу

Концепції LLMOps

SkillTag.level.beginnerSkillTag.label

4.8+

Почніть курс безкоштовно

У цьому розділі ви отримаєте вступ до LLMOps та етапу ідеації під час створення застосунків на базі LLM. Ми розглянемо основи LLMOps, етапи життєвого циклу LLM і ключові дії на етапі ідеації, зокрема пошук даних і вибір між відкритими та пропрієтарними LLM.

Exercise 1: Огляд LLMOps Exercise 2: LLMOps проти MLOps Exercise 3: Актуальність LLMOps Exercise 4: Життєвий цикл LLM Exercise 5: Призначення етапів життєвого циклу Exercise 6: Життєвий цикл застосунку Exercise 7: Етап ідеації Exercise 8: Джерела даних Exercise 9: Пропрієтарні проти відкритих моделей Exercise 10: Вибір належної базової моделі

Цей розділ зосереджено на етапі розробки застосунків на базі LLM. Ми розглянемо інженерію підказок, агентів і ланцюжки, підхід RAG проти тонкого налаштування, а також методи тестування.

Exercise 1: Інженерія підказок Exercise 2: Чому важливий prompt engineering Exercise 3: Спробуймо prompt engineering Exercise 4: Відстеження підказок Exercise 5: Ланцюжки та агенти Exercise 6: Різниця між агентами та ланцюжками Exercise 7: Вибір відповідної архітектури Exercise 8: RAG проти тонкого налаштування Exercise 9: Робочий процес RAG Exercise 10: Порівняйте RAG і fine-tuning Exercise 11: Тестування Exercise 12: Вибір правильної метрики Exercise 13: Важливість тестування

Цей розділ присвячено операційному етапу розгортання та керування застосунками на базі LLM. Ми розглянемо стратегії розгортання, як-от CI/CD, методи масштабування, практики моніторингу, підходи до керування витратами, а також питання управління та безпеки. Опановування цих концепцій допоможе вам ефективно керувати LLM-застосунками в операційних середовищах.

Exercise 1: Розгортання Exercise 2: Потреба в CI/CD Exercise 3: Правильна стратегія масштабування Exercise 4: Моніторинг та спостережуваність Exercise 5: Моніторинг вашого застосунку

Поточна вправа

Exercise 6: Обробка сповіщень Exercise 7: Керування вартістю Exercise 8: Стиснення підказника (prompt compression)Exercise 9: Створення прогнозу витрат Exercise 10: Управління та безпека Exercise 11: Інʼєкція підказки (prompt injection)Exercise 12: Стратегії пом'якшення ризиків Exercise 13: Цілісність даних і отруєння даних Exercise 14: Вітаємо