次の単語予測を使ったLLMのトレーニングに取り組んでいます。モデルには、以下のトレーニングデータを学習させています。
インタラクティブなアプリケーションを使って、シーケンスをステップごとに確認してみましょう。モデルが単語を一つずつ積み上げながら予測を構築していく様子と、各候補の確率を確認できます。
次に続く単語として最も適切な予測はどれでしょうか？
この演習はコースの一部です
理論を実践に変える、インタラクティブな演習のひとつをお試しください
AIの分野は急速に進化しており、なかでも大規模言語モデル（LLM）はその最前線に位置しています。この章では、LLMが人間に近いAIの発展にどう貢献しているか、またさまざまな応用を通じてビジネスや生活をどのように変革しているかを学びます。さらに、言語モデリングに伴う課題についても探っていきます。
この章では、LLMの革新性と創発的能力に焦点を当て、データの前処理に用いる各種自然言語処理技術（NLP）について解説します。LLMを学習させる際の課題と、ファインチューニングによる解決方法を学びます。また、ラベル付きデータが限られた状況でも、事前学習済みモデルを効率的に適応させる「Nショット学習」の手法についても触れます。
この章では、事前学習などLLMをトレーニングするための基本的な構成要素を学びます。また、アテンション機構を含むTransformerアーキテクチャといった複雑な概念についても学習していきます。さらに、高度なファインチューニング手法を取り上げ、LLMを完成させる学習プロセス全体をまとめます。
現在の演習
この章では、大量データの入手法、データ品質、正確なラベリング、偏ったデータがもたらす影響など、LLMにおいて考慮すべき事項をいくつか掘り下げます。また、データプライバシー、倫理的懸念、環境への影響といったLLMに関わるさまざまなリスクについても見ていきます。最後に、新たな研究領域とLLMを取り巻く状況の変化について考察します。
