您一直在通过"下一个词预测"来训练一个 LLM。您向模型提供了以下训练数据，以便它学习这段文本。
使用交互式应用逐步查看序列，观察模型如何逐词构建预测，并查看每个候选补全的概率。
接下来应当预测的词（或词组）是哪一个？
本练习是课程的一部分
通过我们的互动练习之一，将理论转化为实践
AI 领域正快速演进，而大型语言模型（LLMs）位于这一变革的前沿。本章将探讨 LLM 如何推动类人人工智能的发展，并通过多种应用正在改变各行各业。您还将了解与语言建模相关的挑战与复杂性。
本章强调 LLM 的新颖性及其涌现能力，并概述用于数据准备的多种 NLP 技术。您将学习训练 LLM 的挑战，以及微调如何有效应对这些问题。您还将理解 N-shot 学习技术如何在标注数据有限时，让预训练模型高效适配新任务。
本章将介绍训练 LLM 的基础构成模块，如预训练技术。您还将直观理解诸如 transformer 架构与注意力机制等复杂概念。随后将讨论一种高级微调技术，并对完成一个 LLM 的训练流程进行总结。
当前练习
本章将深入探讨训练 LLM 的关键考量因素，如海量数据的可用性、数据质量、准确标注以及偏置数据的影响。您还将审视多种 LLM 风险，包括数据隐私、伦理问题与环境影响。最后，本章将讨论新兴研究方向与 LLM 不断演进的格局。
