本章介绍 LLMOps 及 LLM 应用开发的构思阶段。内容包括 LLMOps 基础、LLM 的生命周期各阶段，以及构思阶段的关键活动，例如数据获取与在开源 LLM 和专有 LLM 之间的选择。

LLMOps 概览

LLMOps 与 MLOps 的对比

LLMOps 的相关性

LLM 的生命周期

生命周期各阶段的目的

应用生命周期

构思阶段

数据来源

专有模型 vs 开源模型

选择合适的基础模型

LLMOps 与构思阶段简介

本章聚焦 LLM 应用的开发阶段。主要涵盖提示工程、智能体与链、RAG 与微调的取舍，以及测试方法。

提示工程

提示工程的重要性

ChatGPT

体验 Prompt Engineering

记录提示词

Chains 和 Agents

选项

Agent

Chain

Agent 与 Chain 的区别

选择合适的架构

RAG 与微调对比

LLM Chain

RAG 工作流

微调

比较 RAG 与微调

测试

传统机器学习指标

文本比较类指标

选择合适的评估指标

测试的重要性

开发阶段

本章聚焦 LLM 应用的部署与运维阶段。我们将讨论 CI/CD 等部署策略、扩展技术、监控与可观测性实践、成本管理策略，以及治理与安全考量。掌握这些概念将帮助您在生产环境中高效管理 LLM 应用。

部署

为什么需要 CI/CD

选择合适的扩展策略

监控与可观测性

监控您的应用

警报处理

成本管理

提示压缩

制定成本预估

治理与安全

提示注入

缓解策略

数据完整性与投毒

恭喜您

运营阶段

开启 Large Language Model Operations（LLMOps）的系统学习之旅。本课程面向爱好者与专业人士，从构思到上线运维，带您掌握基础要点。

通过剖析 LLM 应用的全生命周期，您将理解其在组织中的关键作用。您会了解各阶段的挑战与考量，学会如何优化开发、顺利部署，并兼顾数据治理与安全。课程结束时，您将系统掌握 LLMOps 的核心概念，并知道如何将其应用到您的实际项目中。

<h2> LLMOps 简介 </h2>

踏上大型语言模型运维（LLMOps）之旅。 这门课程专为爱好者和专业人士设计，将带你从构想到实际部署，系统掌握基础知识。

<h2> 解锁核心要点 </h2>

从 LLMOps 的基础开始，开启你的探索之旅。 了解其在组织环境中的关键作用，并掌握 LLM 和 LLMOps 的核心概念。 这门课程的主要重点并不是构建你自己的基础 LLM。 相反，它旨在利用基础模型的能力，将其应用于您的组织中。

<h2> 掌握生命周期 </h2>

深入了解 LLM 应用生命周期将揭示其在组织中的关键作用。 您将深入了解每个阶段的挑战与注意事项，以及如何优化开发并确保顺利部署，同时兼顾数据治理和安全性。 

完成本课程后，你不仅将对 LLMOps 有扎实的理解，还能够自信地在工作中应用这些概念。 无论你是刚刚起步，还是渴望加深理解，这门课程都将提升你的技能，并引导你掌握 LLMOps。

Large Language Models (LLMs) Concepts

了解从构思到部署的LLMOps，掌握生命周期和挑战，并应用这些概念于您的应用程序。

LLMOps 概念

了解 LLMOps 从构想到部署，掌握其生命周期与挑战，并学会将这些概念应用到您的应用中。

面向开发者的 AI 工程师助理

开发大型语言模型

一个用于预测菜品热量的 LLM 应用

一个用于判断论坛消息是否包含恶意/有害内容的 LLM 应用

一个用于回答网站常见问题的 LLM 应用

一个用于总结聊天记录的 LLM 应用

选择合适的评估指标

LLMOps 概念

动手互动练习