Пайплайны DVC

Какова основная цель определения зависимостей, выходных данных и команд в YAML-файле пайплайна DVC?

Это упражнение является частью курса

Введение в версионирование данных с DVC

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение

Это упражнение является частью курса

Введение в версионирование данных с DVC

SkillTag.level.intermediateSkillTag.label

4.8+

401 reviews

Начать курс бесплатно

Эта глава даёт развёрнутое введение в Data Version Control (DVC) — инструмент, необходимый для версионирования данных в машинном обучении. Вы познакомитесь с причинами, по которым версионирование данных так важно, разберётесь в его отличиях от версионирования кода и поработаете с простой задачей классификации. Вы повторите основные команды Git, узнаете о DVC и попрактикуетесь в настройке репозитория. Глава завершается обзором возможностей и сценариев применения DVC, включая версионирование данных и моделей, CI/CD для машинного обучения, отслеживание экспериментов, пайплайны и многое другое.

Exercise 1: Зачем нужно версионирование данных Exercise 2: Анатомия модели машинного обучения Exercise 3: Различия между версионированием данных и кода Exercise 4: Что такое гиперпараметры Exercise 5: Введение в DVC Exercise 6: Работа с Git CLI Exercise 7: Знакомство с CLI DVC Exercise 8: Возможности и сценарии использования DVC Exercise 9: Пайплайны DVC

Текущее упражнение

Exercise 10: CI/CD для машинного обучения

Эта глава посвящена настройке DVC: установке, инициализации репозитория и использованию файла .dvcignore. Вы также изучите кеш DVC и работу с промежуточными файлами — узнаете, как добавлять и удалять файлы, управлять кешем и разберётесь с принципом работы хеша MD5. Помимо этого, глава объясняет, что такое удалённые хранилища DVC, чем они отличаются от удалённых репозиториев Git, и как их добавлять, просматривать и изменять. В заключение вы научитесь взаимодействовать с удалёнными хранилищами: отправлять и получать данные, переключаться между версиями и загружать данные в кеш.

Exercise 1: Настройка и инициализация DVC Exercise 2: Настройка DVC Exercise 3: Шаблоны .dvcignore Exercise 4: Кэш DVC и промежуточные файлы Exercise 5: Работа с кэшем DVC Exercise 6: Назначение файлов .dvc Exercise 7: Настройка удалённых хранилищ DVC Exercise 8: Назначение DVC-удалённых хранилищ Exercise 9: Настройка удалённого хранилища DVC Exercise 10: Взаимодействие с удалёнными хранилищами DVC Exercise 11: Версионирование данных с помощью DVC Remote Exercise 12: Переключение между версиями данных

Эта глава посвящена автоматизации пайплайнов машинного обучения с помощью DVC. Вы создадите конфигурационный файл с настройками и гиперпараметрами, а также познакомитесь с визуализацией пайплайнов с помощью направленных ациклических графов и научитесь описывать зависимости, команды и выходные данные. Рассматривается выполнение пайплайнов DVC, включая локальное обучение модели и отслеживание метаданных DVC средствами Git. Кроме того, вы изучите отслеживание метрик и графиков в DVC: как выводить метрики, создавать файлы графиков и сравнивать метрики и графики на разных этапах пайплайна.

Exercise 1: Организация и рефакторинг кода Exercise 2: Знакомство с файлами параметров в DVC Exercise 3: Создание файла параметров Exercise 4: Написание и визуализация пайплайнов DVC Exercise 5: Проектирование пайплайна DVC Exercise 6: Визуализация пайплайна DVC Exercise 7: Запуск пайплайнов DVC Exercise 8: Принципы выполнения пайплайнов в DVC Exercise 9: Запуск конвейера обучения модели машинного обучения Exercise 10: Оценка модели: метрики и графики в DVC Exercise 11: Отслеживание метрик в DVC Exercise 12: Добавление графиков в dvc.yaml Exercise 13: Поздравляем!