Создание MLproject для жизненного цикла ML: оценка модели

В этом упражнении вы продолжите создавать файл MLproject для управления этапами жизненного цикла ML. Вам нужно добавить ещё одну точку входа — model_evaluation. Этот шаг рабочего процесса принимает значение run_id, полученное на этапе model_engineering, и выполняет оценку модели на обучающих данных из набора данных Insurance.

Вы можете вывести текущий файл MLproject в IPython Shell, выполнив команду print(MLproject).

Это упражнение является частью курса

Введение в MLflow

Посмотреть курс

Инструкции к упражнению

Создайте точку входа с именем model_evaluation.
Задайте параметры для run_id.
Включите параметр в команду.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

"""
  # Set the model_evaluation entry point
  ____:
    parameters:
      # Set run_id parameter
      ____:
        type: str 
        default: None
    # Set the parameters in the command
    command: "python3.9 evaluate.py {____}"
"""

Редактировать и запускать код

Это упражнение является частью курса

Введение в MLflow

SkillTag.level.advancedSkillTag.label

4.8+

Начать курс бесплатно

В этой главе вы познакомитесь с MLflow и узнаете, как он помогает решать типичные сложности жизненного цикла машинного обучения. Вы изучите четыре основных компонента MLflow, уделив особое внимание MLflow Tracking. Вы научитесь создавать эксперименты и запуски, а также отслеживать метрики, параметры и артефакты. В завершение вы узнаете, как программно выполнять поиск по запускам экспериментов по заданным критериям.

Exercise 1: Что такое MLflow?Exercise 2: Компоненты MLflow Exercise 3: Эксперименты в MLflow Exercise 4: MLflow Tracking Exercise 5: Запуск нового запуска Exercise 6: Запись данных о запуске Exercise 7: Как получить данные об активном запуске?Exercise 8: Поиск запусков Exercise 9: Параметры запросов при поиске запусков Exercise 10: Поиск запусков

В этой главе вы познакомитесь с моделями MLflow. Компонент MLflow Models играет ключевую роль на этапах оценки и разработки моделей в жизненном цикле машинного обучения. Вы узнаете, как MLflow Models стандартизирует упаковку моделей машинного обучения, а также как сохранять, логировать и загружать их. Вы научитесь создавать пользовательские модели MLflow для большей гибкости, оценивать качество моделей и использовать мощную концепцию «Flavors». В конце главы вы воспользуетесь инструментом командной строки MLflow для развёртывания модели.

Exercise 1: Введение в MLflow Models Exercise 2: Упаковка модели машинного обучения Exercise 3: Формат хранения Exercise 4: Что содержит файл MLmodel?Exercise 5: Model API Exercise 6: Сохранение и загрузка модели Exercise 7: Логирование и загрузка модели Exercise 8: Пользовательские модели Exercise 9: Создание пользовательского класса Python Exercise 10: Пользовательская модель scikit-learn Exercise 11: Flavour scikit-learn и оценка модели Exercise 12: Развёртывание модели Exercise 13: Развёртывание модели Exercise 14: Получение предсказания от развёрнутой модели

В этой главе рассматривается компонент MLflow — реестр моделей. Вы узнаете, как реестр моделей используется для управления жизненным циклом моделей машинного обучения. Вы научитесь создавать модели в реестре и выполнять их поиск, регистрировать модели и переводить их между предопределёнными стадиями. В завершение вы узнаете, как развёртывать модели из реестра моделей.

Exercise 1: Введение в реестр моделей MLflow Exercise 2: Создание модели Exercise 3: Поиск моделей Exercise 4: Регистрация моделей Exercise 5: Регистрация существующих моделей Exercise 6: Регистрация новых моделей Exercise 7: Этапы жизненного цикла модели Exercise 8: Этапы моделей в Model Registry Exercise 9: Переход между стадиями модели Exercise 10: Развёртывание модели Exercise 11: Развёртывание моделей из Model Registry Exercise 12: Загрузка моделей из Model Registry

В этой главе вы узнаете, как сделать код для задач науки о данных более удобным для повторного использования и воспроизводимости с помощью проектов MLflow. Глава начинается с введения в концепцию MLflow Projects и пошагового создания файла MLproject. Затем вы научитесь запускать проекты MLflow через командную строку и модуль MLflow Projects, а также узнаете, как использовать параметры для большей гибкости кода. В заключение вы научитесь управлять этапами жизненного цикла машинного обучения, создавая многошаговые рабочие процессы с помощью MLflow Projects.

Exercise 1: Введение в MLflow Projects Exercise 2: Структура файла MLproject Exercise 3: Создание файла MLproject Exercise 4: Запуск MLflow Projects Exercise 5: Команда запуска MLflow Exercise 6: Модуль mlflow projects Exercise 7: Указание параметров Exercise 8: Добавление параметров в MLproject Exercise 9: Добавление параметров при запуске проекта Exercise 10: Рабочие процессы Exercise 11: Создание MLproject для жизненного цикла ML: разработка модели Exercise 12: Создание MLproject для жизненного цикла ML: оценка модели

Текущее упражнение

Exercise 13: Создание многошагового рабочего процесса: разработка модели Exercise 14: Создание многошагового рабочего процесса: оценка модели Exercise 15: Подведение итогов