アプリケーションのデプロイ準備状況を評価するには、適切な評価指標を選ぶことが重要です。ここではタスクの例を提示します。それぞれのタスクに対して、従来の機械学習の評価指標とテキスト比較の評価指標のどちらがより適切かを判断してください。入力データと参照出力を含むテストセットが用意されていると仮定します。
この演習はコースの一部です
理論を実践に変える、インタラクティブな演習のひとつをお試しください
この章では、LLMOps の概要と LLM アプリケーション開発におけるアイデア創出フェーズを紹介します。LLMOps の基礎を説明し、LLM のライフサイクルの各ステージを概観したうえで、データの調達やオープンソース LLM と独自 LLM の選択など、アイデア創出フェーズの主要な活動について取り上げます。
この章はLLMアプリケーション作成の開発フェーズに焦点を当てています。プロンプトエンジニアリング、エージェントとチェーン、RAGとファインチューニングの技術、テスト方法を扱います。
現在の演習
この章では、LLM アプリケーションのデプロイと管理の運用フェーズに焦点を当てます。CI/CD などのデプロイ戦略、スケーリング技術、モニタリングの実践、コスト管理戦略、そしてガバナンスとセキュリティの考慮事項を取り上げます。これらの概念を習得することで、運用環境での LLM アプリケーション管理を効率的に行えるようになります。
