マルチステップワークフローの作成：Model Evaluation

この演習では、ML ライフサイクルの一部を管理するためのマルチステップワークフローにおける Model Evaluation ステップを作成します。MLflow Projects モジュールの run() メソッドを使い、エントリポイントを model_evaluation に設定します。前の演習で出力として生成された model_engineering_run_id をパラメータとして受け取り、コマンドに渡します。

前のステップで作成した MLproject は、IPython Shell で print(MLproject) を使うと確認できます。

mlflow モジュールはインポート済みです。

この演習はコースの一部です

MLflow 入門

コースを見る

演習の手順

MLflow Projects モジュールの run() メソッドを model_evaluation に代入します。
エントリポイント引数を "model_evaluation" に設定します。
"run_id" というパラメータを、値 model_engineering_run_id で設定します。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

# Set the MLflow Projects run method
model_evaluation = ____.____.____(
    uri="./",
    # Set the entry point to model_evaluation
    ____="____",
  	# Set the parameter run_id to the run_id output of previous step
    parameters={
        "____": ____,
    },
    env_manager="local"
)

print(model_evaluation.get_status())

コードを編集して実行

この演習はコースの一部です

MLflow 入門

SkillTag.level.advancedSkillTag.label

4.8+

無料でコースを始める

このチャプターでは、MLflow の概要と、Machine Learning ライフサイクルにおけるいくつかの課題をどのように支援するかを紹介します。MLflow を構成する 4 つの主要コンセプトを取り上げ、特に MLflow Tracking に焦点を当てます。実験とランの作成方法、メトリクス・パラメータ・アーティファクトの記録方法を学びます。最後に、特定の条件に合う実験ランを見つけるために、プログラムから MLflow を検索する方法も扱います。

Exercise 1: MLflow とは何ですか？Exercise 2: MLflow のコンポーネント Exercise 3: MLflowの実験 Exercise 4: MLflow Tracking（トラッキング）Exercise 5: ランを開始する Exercise 6: ランのロギング Exercise 7: アクティブな実行データを取得するには？Exercise 8: 実行のクエリ Exercise 9: 実行検索のクエリオプション Exercise 10: 実行の検索

このチャプターでは、MLflow Models を紹介します。MLflow の MLflow Models コンポーネントは、Machine Learning ライフサイクルにおけるモデル評価とモデルエンジニアリングの段階で重要な役割を果たします。MLflow Models が ML モデルのパッケージングをどのように標準化するか、そしてモデルの保存、ログ、読み込み方法を学びます。さらに、ユースケースに合わせた柔軟性を高めるためにカスタム MLflow Models を作成する方法や、モデル性能を評価する方法も学びます。強力な「Flavor」の概念を活用し、最後にコマンドラインツールを使ったモデルのデプロイまで行います。

Exercise 1: MLflow Models の概要 Exercise 2: Machine Learning モデルをパッケージ化する Exercise 3: ストレージ形式 Exercise 4: MLmodel ファイルには何が入っていますか？Exercise 5: Model API（モデルAPI）Exercise 6: モデルの保存と読み込み Exercise 7: モデルのログと読み込み Exercise 8: カスタムモデル Exercise 9: カスタムPythonクラスの作成 Exercise 10: カスタム scikit-learn モデル Exercise 11: scikit-learn フレーバーと評価 Exercise 12: モデル提供（Model serving）Exercise 13: モデルの提供（Serving）Exercise 14: 提供中のモデルからスコアを取得する

このチャプターでは、MLflow のコンセプトである Model Registry を紹介します。Model Registry を使って ML モデルのライフサイクルを管理する方法を学びます。Model Registry でモデルを作成・検索する方法を学んだ後、モデルを登録し、あらかじめ定義された段階間でモデルを遷移させる方法を学びます。最後に、Model Registry からモデルをデプロイする方法も取り上げます。

Exercise 1: MLflow Model Registry 入門 Exercise 2: モデルを作成する Exercise 3: モデルの検索 Exercise 4: モデルの登録 Exercise 5: 既存モデルの登録 Exercise 6: 新しいモデルの登録 Exercise 7: モデルのステージ Exercise 8: Model Registry におけるモデルのステージ Exercise 9: モデルのステージを遷移する Exercise 10: モデルのデプロイ Exercise 11: Model Registry からモデルを提供（サーブ）する Exercise 12: Model Registry からモデルを読み込む

このチャプターでは、MLflow Projects を使ってデータサイエンスのコードを再利用可能かつ再現可能に整理する方法を学びます。まず MLflow Projects の概念を紹介し、MLproject ファイルの作成を順を追って説明します。その後、コマンドラインと MLflow Projects モジュールの両方でプロジェクトを実行する方法を学び、パラメータを活用してコードの柔軟性を高める方法も身につけます。最後に、MLflow Projects を用いてマルチステップのワークフローを作成し、Machine Learning ライフサイクルの各ステップを管理する方法を学びます。

Exercise 1: MLflow Projects の概要 Exercise 2: MLproject ファイルの構成 Exercise 3: MLproject の作成 Exercise 4: MLflow Projects を実行する Exercise 5: MLflow run コマンド Exercise 6: MLflow projects モジュール Exercise 7: パラメータの指定 Exercise 8: MLproject にパラメータを追加する Exercise 9: プロジェクト実行にパラメータを追加する Exercise 10: ワークフロー Exercise 11: MLライフサイクルのためのMLprojectを作成する：Model Engineering Exercise 12: MLライフサイクルのためのMLprojectを作成する：モデル評価 Exercise 13: マルチステップワークフローの作成：Model Engineering Exercise 14: マルチステップワークフローの作成：Model Evaluation

現在の演習

Exercise 15: まとめ