От рабочих процессов к пайплайнам

Create Your Free Account

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Это упражнение является частью курса

Проектирование рабочих процессов машинного обучения на Python

SkillTag.level.advancedSkillTag.label

4.8+

В этой главе вы повторите основы рабочего процесса обучения с учителем: обучение и настройку модели, отбор модели, конструирование и отбор признаков, а также методы разбиения данных. Вы поймёте, как эти шаги зависят друг от друга, и увидите, как каждый из них может как вызывать переобучение, так и помогать с ним бороться — главной проблемой специалиста по данным. К концу главы вы уверенно освоите обучение с учителем и будете готовы перейти к более сложному материалу следующих глав.

Exercise 1: Конвейеры обучения с учителем Exercise 2: Разработка признаков Exercise 3: Ваш первый конвейер Exercise 4: Сложность модели и переобучение Exercise 5: Поиск по сетке для настройки сложности модели Exercise 6: Количество деревьев и оценщиков Exercise 7: Конструирование признаков и переобучение Exercise 8: Кодирование категориальных признаков Exercise 9: Преобразования признаков Exercise 10: Собираем всё вместе

В предыдущей главе вы углубили знания о стандартных рабочих процессах обучения с учителем. В этой главе вы критически рассмотрите способы включения экспертных знаний в такое обучение. Это достигается через выбор подходящей единицы анализа, которая может потребовать конструирования признаков из нескольких источников данных, через не всегда точный процесс разметки примеров, а также через задание функции потерь, отражающей реальную бизнес-ценность ошибок вашей модели.

Exercise 1: Слияние данных Exercise 2: Источник или получатель — кто виноват?Exercise 3: Конструирование признаков на сгруппированных данных Exercise 4: Несовершенные метки Exercise 5: Превращаем эвристику в классификатор Exercise 6: Объединение эвристик Exercise 7: Работа с зашумлёнными метками Exercise 8: Функции потерь. Часть I Exercise 9: Напоминание о метриках качества Exercise 10: Анализ реальных издержек Exercise 11: Вычисление матрицы ошибок Exercise 12: Функции потерь. Часть II Exercise 13: Пороговое значение по умолчанию Exercise 14: Оптимизация порога классификации Exercise 15: Собираем всё вместе

В предыдущей главе вы применяли различные способы включения обратной связи от экспертов в рабочий процесс и оценивали её с учётом бизнес-ценности. Теперь пришло время освоить навыки, необходимые для перевода модели в производственную среду и поддержания её качества за счёт итеративного улучшения. Вы также научитесь диагностировать смещение набора данных и снижать влияние изменяющейся среды на точность модели.

Exercise 1: От рабочих процессов к пайплайнам

Текущее упражнение

Exercise 2: Ваш первый пайплайн — снова!Exercise 3: Пользовательские метрики в конвейерах Exercise 4: Развёртывание модели Exercise 5: Pickle-файлы Exercise 6: Пользовательские функции-трансформеры в конвейерах Exercise 7: Итерации без переобучения Exercise 8: Вызов чемпиону Exercise 9: Статистика кросс-валидации Exercise 10: Сдвиг набора данных Exercise 11: Подбор размера окна Exercise 12: Собираем всё вместе

В предыдущих главах вы заложили прочную основу в области обучения с учителем, включая знания о развёртывании моделей в производственной среде, и всегда предполагали наличие размеченного набора данных. В этой главе вы столкнётесь с задачей моделирования данных без разметки или с очень малым её количеством. Это погружение в обнаружение аномалий — разновидность обучения без учителя — и в обучение на основе расстояний, где представления о сходстве между примерами заменяют метки и позволяют достичь точности, сопоставимой с обучением с учителем. После завершения этой главы вы будете уверенно выделяться среди специалистов по данным, чётко понимая, какие инструменты применять для адаптации рабочего процесса к типичным реальным задачам.

Exercise 1: Обнаружение аномалий Exercise 2: Простой выброс Exercise 3: Параметр загрязнения в LoF Exercise 4: Обнаружение новизны Exercise 5: Простой пример обнаружения новизны Exercise 6: Три детектора новизны Exercise 7: Пересматриваем параметр загрязнённости Exercise 8: Обучение на основе расстояний Exercise 9: Найдите ближайшего соседа Exercise 10: Метрики расходятся во мнениях Exercise 11: Неструктурированные данные Exercise 12: Ограниченное расстояние Левенштейна Exercise 13: Собираем всё вместе Exercise 14: Заключительные замечания