Добавление метрик и графиков в dvc.yaml

В этом упражнении вам нужно заполнить содержимое файла dvc.yaml, который определяет рабочий процесс обучения модели.

Файлы preprocess_dataset.py и train.py выполняют предобработку данных и обучение модели, принимая на вход weather.csv из папки raw_dataset. В результате работы кода обучения модели создаются: файл predictions.csv с предсказаниями и истинными значениями, а также файл metrics.json со структурированными данными метрик. Файл predictions.csv будет использоваться для построения нормализованной матрицы ошибок с целью сравнения с предыдущими коммитами.

Это упражнение является частью курса

CI/CD для машинного обучения

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение

Это упражнение является частью курса

CI/CD для машинного обучения

SkillTag.level.advancedSkillTag.label

4.8+

Начать курс бесплатно

В этой главе вы познакомитесь с основными принципами непрерывной интеграции/непрерывной доставки (CI/CD) и YAML. Вы разберёте жизненный цикл разработки программного обеспечения и ключевые термины: сборка, тестирование и развёртывание. Вы узнаете о различиях между непрерывной интеграцией, непрерывной доставкой и непрерывным развёртыванием, а также исследуете значимость CI/CD в машинном обучении и экспериментировании.

Exercise 1: Введение в непрерывную интеграцию и непрерывную доставку для машинного обучения Exercise 2: Непрерывное развёртывание и непрерывная доставка Exercise 3: Рабочий процесс машинного обучения Exercise 4: Введение в YAML Exercise 5: Синтаксис YAML Exercise 6: Отображения и последовательности в YAML Exercise 7: Введение в GitHub Actions Exercise 8: Применение GitHub Actions Exercise 9: Структура GitHub Actions

Вас ждёт знакомство с GitHub Actions (GHA) — мощной платформой для выполнения рабочих процессов CI/CD. Вы изучите компоненты GHA: события, действия, задачи, шаги, раннеры и контекст. Вы научитесь создавать рабочие процессы, которые запускаются по событиям — например, push и pull request, — а также настраивать раннеры. В ходе практических заданий вы настроите базовые CI-пайплайны и разберётесь в структуре журнала GHA.

Exercise 1: Средний уровень YAML Exercise 2: Найдите правильную комбинацию Exercise 3: Создание рабочего процесса непрерывной интеграции Exercise 4: Настройка базового CI-пайплайна Exercise 5: Интерпретация рабочего процесса GitHub Actions Exercise 6: Написание рабочего процесса GitHub Actions Exercise 7: Запуск кода из репозитория Exercise 8: Ветки функциональности в модели общего репозитория Exercise 9: Запуск кода Python в GitHub Actions Exercise 10: Переменные среды и секреты Exercise 11: Что такое GITHUB_TOKEN?Exercise 12: Работа с переменными окружения Exercise 13: Работа с секретами

В этой главе вы изучите интеграцию обучения моделей машинного обучения в пайплайн GitHub Actions с использованием Continuous Machine Learning GitHub Action. Вы научитесь формировать подробный отчёт в формате Markdown, включающий метрики и графики модели. Также вы познакомитесь с версионированием данных в машинном обучении с помощью Data Version Control (DVC) для отслеживания изменений в данных. В главе рассматриваются настройка удалённых хранилищ DVC и передача наборов данных. В завершение вы изучите пайплайны DVC и научитесь настраивать YAML-файл DVC для организации воспроизводимого обучения модели.

Exercise 1: Обучение модели с помощью GitHub Actions Exercise 2: Разработка модели классификации Exercise 3: Обучение классификационной модели Exercise 4: Настройка обучения модели с помощью CML Exercise 5: Версионирование наборов данных с помощью Data Version Control Exercise 6: Зачем нужны файлы .dvc?Exercise 7: Версионирование данных на практике Exercise 8: Взаимодействие с удалёнными хранилищами DVC Exercise 9: Преимущества DVC Remotes Exercise 10: DVC-удалённые хранилища в действии Exercise 11: Конвейеры DVC Exercise 12: Создание пайплайна DVC Exercise 13: Обучение моделей машинного обучения с помощью DVC

В этой главе вы сосредоточитесь на анализе производительности модели и тонкой настройке гиперпараметров. Вы получите практические навыки сравнения метрик и визуализаций в разных ветках, чтобы оценивать изменения в производительности модели. Вы выполните подбор гиперпараметров с помощью GridSearchCV из scikit-learn. Кроме того, вы изучите автоматизацию pull request с использованием оптимальной конфигурации модели.

Exercise 1: Сравнение метрик и графиков в DVC Exercise 2: Добавление метрик и графиков в dvc.yaml

Текущее упражнение

Exercise 3: Сравнение метрик между ветками Git Exercise 4: Запуск конвейера DVC в GitHub Actions Exercise 5: Подбор гиперпараметров с помощью DVC Exercise 6: Добавление подбора гиперпараметров в dvc.yaml Exercise 7: Запуск DVC-пайплайнов для подбора гиперпараметров Exercise 8: Рабочий процесс GitHub Actions для настройки гиперпараметров Exercise 9: Слабая связанность Exercise 10: Настройка подбора гиперпараметров в GitHub Actions Exercise 11: Поздравляем!