提示壓縮屬於「最佳化提示」這個更廣的策略之下。你的目標是降低成本,同時盡可能維持回應品質。你所使用的 LLM 會依權杖(token)數量計費。你可以在模擬器中試用兩種不同的提示。你會選擇哪一個選項?
本練習屬於課程
將理論付諸實踐,立即體驗我們的互動練習
本章介紹 LLMOps 與 LLM 應用開發的構想階段。內容包含 LLMOps 基礎、LLM 的生命週期各階段重點,以及構想階段的關鍵活動,例如資料來源盤點與在開源與專有 LLM 之間的選擇。
本章聚焦於 LLM 應用的開發階段。內容涵蓋提示工程、代理與鏈(agents 與 chains)、RAG 與微調的取捨,以及測試方法。
本章聚焦於 LLM 應用的部署與營運管理。你將學到 CI/CD 等部署策略、擴充技巧、監控實務、成本管理策略,以及治理與安全考量。掌握這些概念能幫助你在實際營運環境中高效管理 LLM 應用。
當前練習