Нужна ли оценка производительности?

Теперь вы знакомы с концепцией доступности истинных меток в производственной среде и их влиянием на мониторинг производительности. В этом упражнении вам нужно выбрать сценарии, в которых требуется оценка производительности.

Это упражнение является частью курса

Мониторинг систем машинного обучения

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение

Это упражнение является частью курса

Мониторинг систем машинного обучения

SkillTag.level.intermediateSkillTag.label

4.8+

Начать курс бесплатно

В первой главе объясняется, зачем бизнесу нужно отслеживать работу моделей машинного обучения в производственной среде. Вы узнаете об оптимальном процессе мониторинга и его этапах, а также о типичных сложностях, с которыми сталкиваются системы мониторинга на практике.

Exercise 1: Зачем нужно мониторить модель Exercise 2: Почему модели дают сбой?Exercise 3: Преимущества систем мониторинга Exercise 4: Идеальный рабочий процесс мониторинга Exercise 5: Важность мониторинга KPI Exercise 6: Идеальный процесс мониторинга Exercise 7: Процесс мониторинга на реальном примере Exercise 8: Проблемы мониторинга моделей машинного обучения Exercise 9: Отложенная разметка Exercise 10: Сдвиг ковариат vs концептуальный дрейф

Во второй главе вы узнаете, почему мониторинг производительности является основой надёжной системы мониторинга. Мы рассмотрим типичные трудности, возникающие в реальных производственных средах, в частности проблему доступности истинных меток. К концу главы вы будете знать, как действовать в ситуациях, когда данные с истинными метками поступают с задержкой или недоступны вовсе, — с помощью алгоритмов оценки производительности.

Exercise 1: Мониторинг технической производительности напрямую Exercise 2: Почему производительность — прежде всего?Exercise 3: Различные виды ковариатного сдвига Exercise 4: Доступность эталонных данных Exercise 5: Нужна ли оценка производительности?

Текущее упражнение

Exercise 6: Мониторинг производительности в продакшне Exercise 7: Оценка производительности Exercise 8: Особенности CBPE Exercise 9: Оценка производительности в производственной среде Exercise 10: Алгоритмы оценки производительности

Теперь, когда вы познакомились с основами ковариатного сдвига и дрейфа концепции в производственной среде, рассмотрим эти темы подробнее. В конце главы вы узнаете о различных способах их обнаружения и устранения в реальных сценариях.

Exercise 1: Что такое сдвиг ковариат?Exercise 2: Перестановка признаков Exercise 3: Метод обнаружения дрейфа Exercise 4: Как обнаружить ковариационный сдвиг Exercise 5: Незначительные изменения Exercise 6: Различные методы Exercise 7: Что такое концептуальный дрейф?Exercise 8: Тип концептуального дрейфа Exercise 9: Взаимодействие концептуального дрейфа и ковариационного сдвига Exercise 10: Как справляться с концептуальным дрейфом?Exercise 11: Адаптация в реальном времени Exercise 12: Обнаружение и устранение дрейфа концепции Exercise 13: Подведение итогов