本章介紹 LLMOps 與 LLM 應用開發的構想階段。內容包含 LLMOps 基礎、LLM 的生命週期各階段重點，以及構想階段的關鍵活動，例如資料來源盤點與在開源與專有 LLM 之間的選擇。

LLMOps 概觀

LLMOps 與 MLOps 的差異

LLMOps 的相關性

LLM 的生命週期

生命週期各階段的目的

應用程式生命週期

發想階段

資料來源蒐集

專有與開源模型的取捨

選擇合適的基礎模型

LLMOps 與構想階段導論

本章聚焦於 LLM 應用的開發階段。內容涵蓋提示工程、代理與鏈（agents 與 chains）、RAG 與微調的取捨，以及測試方法。

Prompt engineering

提示工程的重要性

試試看提示工程

追蹤提示紀錄

Chains 與 Agents

Agent 與 Chain 的差異

選擇合適的架構

RAG 與微調的比較

RAG 工作流程

比較 RAG 與微調

測試

選擇合適的評估指標

測試的重要性

開發階段

本章聚焦於 LLM 應用的部署與營運管理。你將學到 CI/CD 等部署策略、擴充技巧、監控實務、成本管理策略，以及治理與安全考量。掌握這些概念能幫助你在實際營運環境中高效管理 LLM 應用。

部署

為什麼需要 CI/CD

選項

水平擴充

垂直擴充

選對擴充策略

監控與可觀測性

輸入監控

功能性監控

輸出監控

監控你的應用程式

警示處理

成本管理

ChatGPT

提示壓縮

製作成本預估

治理與安全

提示詞注入（Prompt injection）

提示注入

資料投毒

阻斷服務

緩解策略

資料完整性與投毒

恭喜

營運階段

一起探索大型語言模型營運（LLMOps）。本課程為愛好者與專業人士設計，帶你從發想一路到上線部署，掌握基礎概念。

深入了解 LLM 應用程式生命週期，認識其在組織中的關鍵角色。你會掌握各階段的挑戰與考量，並學會如何優化開發流程、順利部署，同時落實資料治理與安全。完成本課後，你將清楚理解 LLMOps 的核心概念，並知道如何應用在你的實際產品與應用上。

<h2>Python 入門</h2>

踏上探索大型語言模型運營（LLMOps）之旅。 本課程專為愛好者與專業人士設計，將引導您從構思到實際部署，全面學習基礎知識。

<h2> 掌握基礎要素 </h2>

從基礎開始，深入了解LLMOps的核心概念。 了解其在組織環境中的關鍵角色，並掌握LLM與LLMOps的核心概念。 本課程的重點並非在於自行建構基礎大型語言模型（LLM）。 相反地，本課程著重於運用基礎模型的能力，協助您在組織內部實際應用。

<h2> 掌握全流程 </h2>

深入探討LLM應用程式生命週期，將揭示其在組織中的關鍵作用。 您將深入了解每個階段所面臨的挑戰與考量，並學習如何優化開發流程、確保順利部署，同時重視資料治理與安全性。 

完成本課程後，您不僅能夠深入了解LLMOps，還能自信地將這些概念應用於您的工作中。 無論您是剛起步，還是希望深入了解，本課程都將提升您的技能，並引導您邁向精通LLMOps之路。

Large Language Models (LLMs) Concepts

了解從構思到部署的LLMOps，洞察其生命周期和挑戰，並學習如何應用於您的應用程式。

LLMOps 概念

掌握LLMOps從構想到部署，深入了解其生命週期與挑戰，並學會將這些概念應用於您的應用程式。

監控與可觀測性

Create Your Free Account