Создание многошагового рабочего процесса: оценка модели

В этом упражнении вы создадите шаг оценки модели в рамках многошагового рабочего процесса, предназначенного для управления частью жизненного цикла машинного обучения. Вы воспользуетесь методом run() из модуля MLflow Projects и зададите точку входа model_evaluation. Затем вы передадите model_engineering_run_id — идентификатор, полученный в предыдущем упражнении, — в качестве параметра команды.

Файл MLproject, созданный на предыдущем шаге, доступен в оболочке IPython: используйте print(MLproject) для его просмотра.

Модуль mlflow уже импортирован.

Это упражнение является частью курса

Введение в MLflow

Посмотреть курс

Инструкции к упражнению

Присвойте результат вызова метода run() из модуля MLflow Projects переменной model_evaluation.
Задайте аргумент точки входа равным "model_evaluation".
Установите параметр "run_id" со значением model_engineering_run_id.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Set the MLflow Projects run method
model_evaluation = ____.____.____(
    uri="./",
    # Set the entry point to model_evaluation
    ____="____",
  	# Set the parameter run_id to the run_id output of previous step
    parameters={
        "____": ____,
    },
    env_manager="local"
)

print(model_evaluation.get_status())

Редактировать и запускать код

Это упражнение является частью курса

Введение в MLflow

SkillTag.level.advancedSkillTag.label

4.8+

Начать курс бесплатно

В этой главе вы познакомитесь с MLflow и узнаете, как он помогает решать типичные сложности жизненного цикла машинного обучения. Вы изучите четыре основных компонента MLflow, уделив особое внимание MLflow Tracking. Вы научитесь создавать эксперименты и запуски, а также отслеживать метрики, параметры и артефакты. В завершение вы узнаете, как программно выполнять поиск по запускам экспериментов по заданным критериям.

Exercise 1: Что такое MLflow?Exercise 2: Компоненты MLflow Exercise 3: Эксперименты в MLflow Exercise 4: MLflow Tracking Exercise 5: Запуск нового запуска Exercise 6: Запись данных о запуске Exercise 7: Как получить данные об активном запуске?Exercise 8: Поиск запусков Exercise 9: Параметры запросов при поиске запусков Exercise 10: Поиск запусков

В этой главе вы познакомитесь с моделями MLflow. Компонент MLflow Models играет ключевую роль на этапах оценки и разработки моделей в жизненном цикле машинного обучения. Вы узнаете, как MLflow Models стандартизирует упаковку моделей машинного обучения, а также как сохранять, логировать и загружать их. Вы научитесь создавать пользовательские модели MLflow для большей гибкости, оценивать качество моделей и использовать мощную концепцию «Flavors». В конце главы вы воспользуетесь инструментом командной строки MLflow для развёртывания модели.

Exercise 1: Введение в MLflow Models Exercise 2: Упаковка модели машинного обучения Exercise 3: Формат хранения Exercise 4: Что содержит файл MLmodel?Exercise 5: Model API Exercise 6: Сохранение и загрузка модели Exercise 7: Логирование и загрузка модели Exercise 8: Пользовательские модели Exercise 9: Создание пользовательского класса Python Exercise 10: Пользовательская модель scikit-learn Exercise 11: Flavour scikit-learn и оценка модели Exercise 12: Развёртывание модели Exercise 13: Развёртывание модели Exercise 14: Получение предсказания от развёрнутой модели

В этой главе рассматривается компонент MLflow — реестр моделей. Вы узнаете, как реестр моделей используется для управления жизненным циклом моделей машинного обучения. Вы научитесь создавать модели в реестре и выполнять их поиск, регистрировать модели и переводить их между предопределёнными стадиями. В завершение вы узнаете, как развёртывать модели из реестра моделей.

Exercise 1: Введение в реестр моделей MLflow Exercise 2: Создание модели Exercise 3: Поиск моделей Exercise 4: Регистрация моделей Exercise 5: Регистрация существующих моделей Exercise 6: Регистрация новых моделей Exercise 7: Этапы жизненного цикла модели Exercise 8: Этапы моделей в Model Registry Exercise 9: Переход между стадиями модели Exercise 10: Развёртывание модели Exercise 11: Развёртывание моделей из Model Registry Exercise 12: Загрузка моделей из Model Registry

В этой главе вы узнаете, как сделать код для задач науки о данных более удобным для повторного использования и воспроизводимости с помощью проектов MLflow. Глава начинается с введения в концепцию MLflow Projects и пошагового создания файла MLproject. Затем вы научитесь запускать проекты MLflow через командную строку и модуль MLflow Projects, а также узнаете, как использовать параметры для большей гибкости кода. В заключение вы научитесь управлять этапами жизненного цикла машинного обучения, создавая многошаговые рабочие процессы с помощью MLflow Projects.

Exercise 1: Введение в MLflow Projects Exercise 2: Структура файла MLproject Exercise 3: Создание файла MLproject Exercise 4: Запуск MLflow Projects Exercise 5: Команда запуска MLflow Exercise 6: Модуль mlflow projects Exercise 7: Указание параметров Exercise 8: Добавление параметров в MLproject Exercise 9: Добавление параметров при запуске проекта Exercise 10: Рабочие процессы Exercise 11: Создание MLproject для жизненного цикла ML: разработка модели Exercise 12: Создание MLproject для жизненного цикла ML: оценка модели Exercise 13: Создание многошагового рабочего процесса: разработка модели Exercise 14: Создание многошагового рабочего процесса: оценка модели

Текущее упражнение

Exercise 15: Подведение итогов