MLライフサイクルのためのMLprojectを作成する：モデル評価

この演習では、MLライフサイクルの各ステップを管理するために、MLproject ファイルの作成を続けます。新たに model_evaluation というエントリーポイントを作成します。ワークフロー上のこのステップは、model_engineering ステップの出力である run_id を受け取り、Insurance データセットの学習データを使ってモデル評価を実行します。

IPython Shell で print(MLproject) を実行すると、現在の MLproject ファイルを表示できます。

この演習はコースの一部です

MLflow 入門

コースを見る

演習の手順

model_evaluation というエントリーポイントを作成します。
run_id のパラメータを設定します。
コマンド内でこのパラメータを使用します。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

"""
  # Set the model_evaluation entry point
  ____:
    parameters:
      # Set run_id parameter
      ____:
        type: str 
        default: None
    # Set the parameters in the command
    command: "python3.9 evaluate.py {____}"
"""

コードを編集して実行

この演習はコースの一部です

MLflow 入門

SkillTag.level.advancedSkillTag.label

4.8+

無料でコースを始める

このチャプターでは、MLflow の概要と、Machine Learning ライフサイクルにおけるいくつかの課題をどのように支援するかを紹介します。MLflow を構成する 4 つの主要コンセプトを取り上げ、特に MLflow Tracking に焦点を当てます。実験とランの作成方法、メトリクス・パラメータ・アーティファクトの記録方法を学びます。最後に、特定の条件に合う実験ランを見つけるために、プログラムから MLflow を検索する方法も扱います。

Exercise 1: MLflow とは何ですか？Exercise 2: MLflow のコンポーネント Exercise 3: MLflowの実験 Exercise 4: MLflow Tracking（トラッキング）Exercise 5: ランを開始する Exercise 6: ランのロギング Exercise 7: アクティブな実行データを取得するには？Exercise 8: 実行のクエリ Exercise 9: 実行検索のクエリオプション Exercise 10: 実行の検索

このチャプターでは、MLflow Models を紹介します。MLflow の MLflow Models コンポーネントは、Machine Learning ライフサイクルにおけるモデル評価とモデルエンジニアリングの段階で重要な役割を果たします。MLflow Models が ML モデルのパッケージングをどのように標準化するか、そしてモデルの保存、ログ、読み込み方法を学びます。さらに、ユースケースに合わせた柔軟性を高めるためにカスタム MLflow Models を作成する方法や、モデル性能を評価する方法も学びます。強力な「Flavor」の概念を活用し、最後にコマンドラインツールを使ったモデルのデプロイまで行います。

Exercise 1: MLflow Models の概要 Exercise 2: Machine Learning モデルをパッケージ化する Exercise 3: ストレージ形式 Exercise 4: MLmodel ファイルには何が入っていますか？Exercise 5: Model API（モデルAPI）Exercise 6: モデルの保存と読み込み Exercise 7: モデルのログと読み込み Exercise 8: カスタムモデル Exercise 9: カスタムPythonクラスの作成 Exercise 10: カスタム scikit-learn モデル Exercise 11: scikit-learn フレーバーと評価 Exercise 12: モデル提供（Model serving）Exercise 13: モデルの提供（Serving）Exercise 14: 提供中のモデルからスコアを取得する

このチャプターでは、MLflow のコンセプトである Model Registry を紹介します。Model Registry を使って ML モデルのライフサイクルを管理する方法を学びます。Model Registry でモデルを作成・検索する方法を学んだ後、モデルを登録し、あらかじめ定義された段階間でモデルを遷移させる方法を学びます。最後に、Model Registry からモデルをデプロイする方法も取り上げます。

Exercise 1: MLflow Model Registry 入門 Exercise 2: モデルを作成する Exercise 3: モデルの検索 Exercise 4: モデルの登録 Exercise 5: 既存モデルの登録 Exercise 6: 新しいモデルの登録 Exercise 7: モデルのステージ Exercise 8: Model Registry におけるモデルのステージ Exercise 9: モデルのステージを遷移する Exercise 10: モデルのデプロイ Exercise 11: Model Registry からモデルを提供（サーブ）する Exercise 12: Model Registry からモデルを読み込む

このチャプターでは、MLflow Projects を使ってデータサイエンスのコードを再利用可能かつ再現可能に整理する方法を学びます。まず MLflow Projects の概念を紹介し、MLproject ファイルの作成を順を追って説明します。その後、コマンドラインと MLflow Projects モジュールの両方でプロジェクトを実行する方法を学び、パラメータを活用してコードの柔軟性を高める方法も身につけます。最後に、MLflow Projects を用いてマルチステップのワークフローを作成し、Machine Learning ライフサイクルの各ステップを管理する方法を学びます。

Exercise 1: MLflow Projects の概要 Exercise 2: MLproject ファイルの構成 Exercise 3: MLproject の作成 Exercise 4: MLflow Projects を実行する Exercise 5: MLflow run コマンド Exercise 6: MLflow projects モジュール Exercise 7: パラメータの指定 Exercise 8: MLproject にパラメータを追加する Exercise 9: プロジェクト実行にパラメータを追加する Exercise 10: ワークフロー Exercise 11: MLライフサイクルのためのMLprojectを作成する：Model Engineering Exercise 12: MLライフサイクルのためのMLprojectを作成する：モデル評価

現在の演習

Exercise 13: マルチステップワークフローの作成：Model Engineering Exercise 14: マルチステップワークフローの作成：Model Evaluation Exercise 15: まとめ