Тестирование: данные, модель и пайплайн

Отличная работа! Прежде чем перейти к следующему видео, давайте закрепим концепции тестирования MLOps-систем. В этом упражнении вы потренируетесь различать:

Тесты данных
Тесты моделей
Тесты пайплайнов

Это упражнение является частью курса

Полностью автоматизированный MLOps

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение

Это упражнение является частью курса

Полностью автоматизированный MLOps

SkillTag.level.intermediateSkillTag.label

4.8+

339 reviews

Начать курс бесплатно

В первой главе вы узнаете, зачем MLOps применяется в промышленных условиях, и поймёте его роль в создании ценности для бизнеса. Вы также повторите этапы работы с ML и рассмотрите, как MLOps их улучшает. В конце главы вы познакомитесь с эталонной архитектурой полностью автоматизированной MLOps-системы. На её основе вы изучите ключевые компоненты любой MLOps-системы — это станет отправной точкой для дальнейшего курса.

Exercise 1: Введение в полностью автоматизированный MLOps Exercise 2: Технический долг требует оплаты Exercise 3: Скрытый технический долг в ML — это особый случай Exercise 4: Этапы жизненного цикла MLOps Exercise 5: Полностью автоматизированный MLOps Exercise 6: Автоматизировать или нет...Exercise 7: Разработка с расчётом на масштаб Exercise 8: Эталонная архитектура: полностью автоматизированный MLOps Exercise 9: Референсные архитектуры в ИТ и MLOps Exercise 10: Компоненты архитектуры MLOps

В этой главе вы продолжите изучение ключевых компонентов полностью автоматизированной MLOps-системы. Сначала вы рассмотрите роль оркестрации в MLOps и то, как она обеспечивает эффективность и масштабируемость ML-пайплайнов. Затем изучите различные стратегии развёртывания в MLOps и научитесь выбирать подходящую стратегию для вашей системы. Наконец, вы познакомитесь с CI/CD/CT/CM и узнаете, как эти практики дополняют оркестрацию и помогают достичь полной автоматизации MLOps-систем. Освоив этот материал, вы будете готовы строить полностью автоматизированные MLOps-системы, которые отличаются эффективностью, точностью и надёжностью.

Exercise 1: Автоматическое отслеживание экспериментов Exercise 2: Что нужно отслеживать?Exercise 3: Великий спор об отслеживании экспериментов: какова ваша позиция?Exercise 4: Что именно мы отслеживаем?Exercise 5: Реестр моделей Exercise 6: Не перебрасывайте модель через забор!Exercise 7: Жизненный цикл ML-модели Exercise 8: Это задача для реестра моделей!Exercise 9: Хранилище признаков в автоматизированной архитектуре MLOps Exercise 10: Преимущество использования хранилища признаков Exercise 11: Роли хранилища признаков Exercise 12: Хранилище метаданных Exercise 13: Метаданные в MLOps Exercise 14: Повторное обучение модели с использованием хранилища метаданных Exercise 15: Роль хранилища метаданных в мониторинге MLOps

В этой главе вы погрузитесь в мир автоматизации и научитесь проектировать более устойчивые и эффективные ML-системы. Вы начнёте с основ автоматизации в MLOps-системах, а затем перейдёте к изучению паттернов проектирования и механизмов защиты от сбоев. Вы также узнаете, как внедрить автоматизированное тестирование в MLOps-системы и как использовать подбор гиперпараметров для оптимизации моделей и рабочих процессов. По завершении главы вы будете обладать знаниями и навыками, необходимыми для построения полностью автоматизированных MLOps-систем, сочетающих эффективность и надёжность.

Exercise 1: Полная автоматизация и лучшие практики в MLOps Exercise 2: Автоматизация в рабочих процессах MLOps Exercise 3: Уровни автоматизации в MLOps Exercise 4: Паттерн автоматизации, мониторинга и реагирования на инциденты Exercise 5: Является ли это паттерном проектирования?Exercise 6: Переобучение, откат или импутация?Exercise 7: Автоматизированное тестирование в MLOps Exercise 8: Мусор на входе — мусор на выходе... Применяйте тесты для данных!Exercise 9: Тестирование: традиционный подход и MLOps Exercise 10: Тестирование: данные, модель и пайплайн

Текущее упражнение

Exercise 11: Автоматический подбор гиперпараметров Exercise 12: Параметр или гиперпараметр?Exercise 13: Роль подбора гиперпараметров в MLOps Exercise 14: Автоматизация подбора гиперпараметров

В заключительной главе вы изучите ключевые компоненты автоматизированной архитектуры MLOps. От автоматизированного отслеживания экспериментов и реестра моделей до хранилища признаков и хранилища метаданных — эта глава даст вам полное понимание устройства полностью автоматизированной MLOps-системы. Независимо от вашего уровня опыта в ML, вы получите знания и практические навыки, необходимые для проектирования автоматизированных MLOps-рабочих процессов.

Exercise 1: Оркестрация в MLOps Exercise 2: Зачем нужна модульность?Exercise 3: Оркестрация: разработка и продакшн Exercise 4: DAG в рабочих процессах MLOps Exercise 5: Аспекты оркестрации в MLOps Exercise 6: Автоматизация в стратегиях развёртывания MLOps Exercise 7: Какой тип развёртывания здесь описан?Exercise 8: Правильная ли это стратегия развёртывания?Exercise 9: Нулевой простой с помощью стратегии blue/green развёртывания Exercise 10: CI/CD/CT/CM в полностью автоматизированном MLOps Exercise 11: Как CI/CD/CT/CM влияет на MLOps?Exercise 12: Непрерывный мониторинг и непрерывное обучение Exercise 13: CI/CD/CT/CM в MLOps Exercise 14: Итоги