Создание пайплайна DVC

Представьте простой пример рабочего процесса: документ сначала печатается, а затем сканируется, чтобы создать подписанный PDF-файл. DVC управляет зависимостями и результатами каждого этапа.

Этап print зависит от инструкций в файле print.sh и создаёт результат pages. Этап scan зависит от инструкций в scan.sh и pages (результат этапа printer) и создаёт результат signed.pdf.

Ваша задача — описать пайплайн DVC для этого рабочего процесса с помощью команды dvc stage add. Её синтаксис:

dvc stage add -n <stage_name> -d <dependency> -o <output> <command>

Для указания нескольких зависимостей и результатов используйте флаги -d и -o несколько раз.

ПРИМЕЧАНИЕ: DVC уже инициализирован в среде выполнения упражнения. Запускать dvc init повторно не нужно.

Это упражнение является частью курса

CI/CD для машинного обучения

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение

Это упражнение является частью курса

CI/CD для машинного обучения

SkillTag.level.advancedSkillTag.label

4.8+

Начать курс бесплатно

В этой главе вы познакомитесь с основными принципами непрерывной интеграции/непрерывной доставки (CI/CD) и YAML. Вы разберёте жизненный цикл разработки программного обеспечения и ключевые термины: сборка, тестирование и развёртывание. Вы узнаете о различиях между непрерывной интеграцией, непрерывной доставкой и непрерывным развёртыванием, а также исследуете значимость CI/CD в машинном обучении и экспериментировании.

Exercise 1: Введение в непрерывную интеграцию и непрерывную доставку для машинного обучения Exercise 2: Непрерывное развёртывание и непрерывная доставка Exercise 3: Рабочий процесс машинного обучения Exercise 4: Введение в YAML Exercise 5: Синтаксис YAML Exercise 6: Отображения и последовательности в YAML Exercise 7: Введение в GitHub Actions Exercise 8: Применение GitHub Actions Exercise 9: Структура GitHub Actions

Вас ждёт знакомство с GitHub Actions (GHA) — мощной платформой для выполнения рабочих процессов CI/CD. Вы изучите компоненты GHA: события, действия, задачи, шаги, раннеры и контекст. Вы научитесь создавать рабочие процессы, которые запускаются по событиям — например, push и pull request, — а также настраивать раннеры. В ходе практических заданий вы настроите базовые CI-пайплайны и разберётесь в структуре журнала GHA.

Exercise 1: Средний уровень YAML Exercise 2: Найдите правильную комбинацию Exercise 3: Создание рабочего процесса непрерывной интеграции Exercise 4: Настройка базового CI-пайплайна Exercise 5: Интерпретация рабочего процесса GitHub Actions Exercise 6: Написание рабочего процесса GitHub Actions Exercise 7: Запуск кода из репозитория Exercise 8: Ветки функциональности в модели общего репозитория Exercise 9: Запуск кода Python в GitHub Actions Exercise 10: Переменные среды и секреты Exercise 11: Что такое GITHUB_TOKEN?Exercise 12: Работа с переменными окружения Exercise 13: Работа с секретами

В этой главе вы изучите интеграцию обучения моделей машинного обучения в пайплайн GitHub Actions с использованием Continuous Machine Learning GitHub Action. Вы научитесь формировать подробный отчёт в формате Markdown, включающий метрики и графики модели. Также вы познакомитесь с версионированием данных в машинном обучении с помощью Data Version Control (DVC) для отслеживания изменений в данных. В главе рассматриваются настройка удалённых хранилищ DVC и передача наборов данных. В завершение вы изучите пайплайны DVC и научитесь настраивать YAML-файл DVC для организации воспроизводимого обучения модели.

Exercise 1: Обучение модели с помощью GitHub Actions Exercise 2: Разработка модели классификации Exercise 3: Обучение классификационной модели Exercise 4: Настройка обучения модели с помощью CML Exercise 5: Версионирование наборов данных с помощью Data Version Control Exercise 6: Зачем нужны файлы .dvc?Exercise 7: Версионирование данных на практике Exercise 8: Взаимодействие с удалёнными хранилищами DVC Exercise 9: Преимущества DVC Remotes Exercise 10: DVC-удалённые хранилища в действии Exercise 11: Конвейеры DVC Exercise 12: Создание пайплайна DVC

Текущее упражнение

Exercise 13: Обучение моделей машинного обучения с помощью DVC

В этой главе вы сосредоточитесь на анализе производительности модели и тонкой настройке гиперпараметров. Вы получите практические навыки сравнения метрик и визуализаций в разных ветках, чтобы оценивать изменения в производительности модели. Вы выполните подбор гиперпараметров с помощью GridSearchCV из scikit-learn. Кроме того, вы изучите автоматизацию pull request с использованием оптимальной конфигурации модели.

Exercise 1: Сравнение метрик и графиков в DVC Exercise 2: Добавление метрик и графиков в dvc.yaml Exercise 3: Сравнение метрик между ветками Git Exercise 4: Запуск конвейера DVC в GitHub Actions Exercise 5: Подбор гиперпараметров с помощью DVC Exercise 6: Добавление подбора гиперпараметров в dvc.yaml Exercise 7: Запуск DVC-пайплайнов для подбора гиперпараметров Exercise 8: Рабочий процесс GitHub Actions для настройки гиперпараметров Exercise 9: Слабая связанность Exercise 10: Настройка подбора гиперпараметров в GitHub Actions Exercise 11: Поздравляем!