AI 领域正快速演进，而大型语言模型（LLMs）位于这一变革的前沿。本章将探讨 LLM 如何推动类人人工智能的发展，并通过多种应用正在改变各行各业。您还将了解与语言建模相关的挑战与复杂性。

AI 版图中 LLM 的崛起

LLM 的定义

AI 版图中的 LLM

AI 与 LLM 的应用

真实世界的应用

商业应用

多模态应用

自动化数据驱动任务

语言建模的挑战

语言模型能做什么？

单任务 vs. 多任务学习

大型语言模型（LLM）简介

本章强调 LLM 的新颖性及其涌现能力，并概述用于数据准备的多种 NLP 技术。您将学习训练 LLM 的挑战，以及微调如何有效应对这些问题。您还将理解 N-shot 学习技术如何在标注数据有限时，让预训练模型高效适配新任务。

LLMs 的新颖性

用 LLM 解决问题

选项

大型语言模型

传统语言模型

传统模型 vs. LLMs

NLP 概览

数据准备

文本预处理

文本表示

文本预处理与表示

词嵌入优于词袋模型

微调

构建 LLM 的挑战

适配预训练模型

预训练

预训练还是微调？

学习技术

微调模型

N-shot 学习

LLM 的构成模块

本章将介绍训练 LLM 的基础构成模块，如预训练技术。您还将直观理解诸如 transformer 架构与注意力机制等复杂概念。随后将讨论一种高级微调技术，并对完成一个 LLM 的训练流程进行总结。

训练 LLM 的基础模块

掩码语言

预测下一个词

从零开始构建

走近 Transformer

远距离词语之间的关系

Transformer 组件

注意力机制

多头注意力关注的内容

自注意力 vs. 多头注意力

高级微调

端到端训练

训练、微调与反馈

构建一个 LLM

训练方法与技术

本章将深入探讨训练 LLM 的关键考量因素，如海量数据的可用性、数据质量、准确标注以及偏置数据的影响。您还将审视多种 LLM 风险，包括数据隐私、伦理问题与环境影响。最后，本章将讨论新兴研究方向与 LLM 不断演进的格局。

数据方面的关注与考量

您的模型公平吗？

无偏且相关

银行的客户服务

伦理与环境方面的关注

负责任的使用

伦理与环境

LLMs 将走向何方？

创造力 vs. 效率

分析文学作品

总结时间

关注点与注意事项

Course Glossary

在本课程中，您将系统了解大型语言模型（LLMs），并认识它们如何重塑 AI 版图。我们将通过真实案例展示它们如何改变商业与日常生活，并带您了解其构成要素。随着学习推进，您还会掌握相关的训练方法。最后，您将探讨 LLM 的关键伦理与环境问题，并了解其未来走向。课程结束时，您将全面理解 LLM 的能力、应用与挑战。

视频内含实时字幕，您可点击视频左下角的 "Show transcript" 展开查看。

课程术语表位于右侧的资源区域。

若要获取 CPE 学分，您需要完成课程并在合格测评中达到 70% 的得分。您可以点击右侧的 CPE 学分提示跳转至测评页面。

<h2>探索大型语言模型</h2>
在本课程中，你将探索大型语言模型（LLMs）的世界，并了解它们如何重塑人工智能格局。 你将探索推动 LLM 热潮的因素，例如深度学习革命、数据可用性和计算能力。
<br><br>
这门概念性课程将深入探讨大语言模型（LLM），以及它们如何通过真实案例彻底改变企业和日常生活，涵盖从金融到内容创作等多个领域。
<br><br>
<h2>揭开 LLM 和训练方法的奥秘</h2>
你将了解 LLM 的构建基础，包括自然语言处理技术、微调策略，以及零样本、少样本和多样本学习等学习技术。 随着学习的深入，你将深入了解驱动 LLM 的前沿训练方法，包括下一个词预测、掩码语言建模和注意力机制。
<br><br>
<h2>探索 LLM 的关注点与注意事项</h2>
你还将探讨构建和训练 LLM 时的关键伦理与环境考量，例如训练数据和隐私问题。
<br><br>
当你完成这门课程时，你将了解如何在深入研究 LLM 领域最新成果的同时保持领先。 你将探索未来的发展，重点关注模型可解释性、无监督偏差处理、计算效率以及增强创造力。
<br><br>
在本课程结束时，你将全面了解 LLM、它们的能力、应用以及引人入胜的挑战。

Understanding Machine Learning

通过我们的课程探索LLM的全部潜力，涵盖应用、训练方法、伦理和最新研究。

Large Language Models (LLMs) 概念

通过我们的概念性课程，发掘 LLM 的全部潜力，涵盖 LLM 应用、训练方法、伦理考量和最新研究。

AI 基础知识

[`The`, `product`, `is`, `amazing`, `,`, `but`, `the`, `shipping`, `was`, `slow`, `.`]

[`product`, `amazing`, `shipping`, `slow`]

`product`: 1, `amaze`: 1, `ship`: 1, `slow`: 1

`product`: [0.41, 0.56, 0.44], `amaze`: [0.67, 0.24, 0.19], `ship`: [0.61, 0.47, 0.29], `slow`: [0.88, 0.42, 0.35]

文本预处理与表示

Large Language Models (LLMs) 概念

动手互动练习