Проблемы мониторинга моделей машинного обучения

Create Your Free Account

or

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Это упражнение является частью курса

Мониторинг систем машинного обучения

SkillTag.level.intermediateSkillTag.label

4.8+

509 reviews

Начать курс бесплатно

В первой главе объясняется, зачем бизнесу нужно отслеживать работу моделей машинного обучения в производственной среде. Вы узнаете об оптимальном процессе мониторинга и его этапах, а также о типичных сложностях, с которыми сталкиваются системы мониторинга на практике.

Exercise 1: Зачем нужно мониторить модель Exercise 2: Почему модели дают сбой?Exercise 3: Преимущества систем мониторинга Exercise 4: Идеальный рабочий процесс мониторинга Exercise 5: Важность мониторинга KPI Exercise 6: Идеальный процесс мониторинга Exercise 7: Процесс мониторинга на реальном примере Exercise 8: Проблемы мониторинга моделей машинного обучения

Текущее упражнение

Exercise 9: Отложенная разметка Exercise 10: Сдвиг ковариат vs концептуальный дрейф

Во второй главе вы узнаете, почему мониторинг производительности является основой надёжной системы мониторинга. Мы рассмотрим типичные трудности, возникающие в реальных производственных средах, в частности проблему доступности истинных меток. К концу главы вы будете знать, как действовать в ситуациях, когда данные с истинными метками поступают с задержкой или недоступны вовсе, — с помощью алгоритмов оценки производительности.

Exercise 1: Мониторинг технической производительности напрямую Exercise 2: Почему производительность — прежде всего?Exercise 3: Различные виды ковариатного сдвига Exercise 4: Доступность эталонных данных Exercise 5: Нужна ли оценка производительности?Exercise 6: Мониторинг производительности в продакшне Exercise 7: Оценка производительности Exercise 8: Особенности CBPE Exercise 9: Оценка производительности в производственной среде Exercise 10: Алгоритмы оценки производительности

Теперь, когда вы познакомились с основами ковариатного сдвига и дрейфа концепции в производственной среде, рассмотрим эти темы подробнее. В конце главы вы узнаете о различных способах их обнаружения и устранения в реальных сценариях.

Exercise 1: Что такое сдвиг ковариат?Exercise 2: Перестановка признаков Exercise 3: Метод обнаружения дрейфа Exercise 4: Как обнаружить ковариационный сдвиг Exercise 5: Незначительные изменения Exercise 6: Различные методы Exercise 7: Что такое концептуальный дрейф?Exercise 8: Тип концептуального дрейфа Exercise 9: Взаимодействие концептуального дрейфа и ковариационного сдвига Exercise 10: Как справляться с концептуальным дрейфом?Exercise 11: Адаптация в реальном времени Exercise 12: Обнаружение и устранение дрейфа концепции Exercise 13: Подведение итогов