選對評估指標,對判斷你的應用是否已準備好部署至關重要。以下提供一些任務情境,請你判斷要用傳統機器學習評估指標,還是文字比較評估指標來評估它。你可以假設手上有包含輸入資料與參考輸出的測試集。
本練習屬於課程
將理論付諸實踐,立即體驗我們的互動練習
本章介紹 LLMOps 與 LLM 應用開發的構想階段。內容包含 LLMOps 基礎、LLM 的生命週期各階段重點,以及構想階段的關鍵活動,例如資料來源盤點與在開源與專有 LLM 之間的選擇。
本章聚焦於 LLM 應用的開發階段。內容涵蓋提示工程、代理與鏈(agents 與 chains)、RAG 與微調的取捨,以及測試方法。
當前練習
本章聚焦於 LLM 應用的部署與營運管理。你將學到 CI/CD 等部署策略、擴充技巧、監控實務、成本管理策略,以及治理與安全考量。掌握這些概念能幫助你在實際營運環境中高效管理 LLM 應用。