Конвеєри DVC

У конвеєрах DVC яка головна мета визначення залежностей, виходів і команд у YAML‑файлі?

Ця вправа є частиною курсу

Вступ до керування версіями даних із DVC

Переглянути курс

Практична інтерактивна вправа

Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ

Почати вправу

Ця вправа є частиною курсу

Вступ до керування версіями даних із DVC

SkillTag.level.intermediateSkillTag.label

4.8+

395 reviews

Почніть курс безкоштовно

У цьому розділі подано ґрунтовний вступ до Data Version Control (DVC) — інструмента, необхідного для версіонування даних у машинному навчанні. Ви дослідите мотивацію версіонування даних, зрозумієте його відмінності від версіонування коду та попрацюєте з простою задачею класифікації. Ви переглянете базові команди Git, ознайомитеся з DVC і потренуєтеся налаштовувати репозиторій. Розділ завершується оглядом можливостей DVC і типових застосувань, зокрема версіонування даних і моделей, CI/CD для ML, відстеження експериментів, конвеєрів тощо.

Exercise 1: Мотивація версіонування даних Exercise 2: Анатомія моделі машинного навчання Exercise 3: Відмінності між версіонуванням даних і коду Exercise 4: Розуміння гіперпараметрів Exercise 5: Вступ до DVC Exercise 6: Робота з Git CLI Exercise 7: Огляд DVC CLI Exercise 8: Можливості DVC та випадки використання Exercise 9: Конвеєри DVC

Поточна вправа

Exercise 10: CI/CD для машинного навчання

У цьому розділі ви детально розглянете налаштування DVC: інсталяцію, ініціалізацію репозиторію та використання файла .dvcignore. Далі ви дослідите кеш DVC і проміжні (staging) файли, навчитеся додавати й вилучати файли, керувати кешем і зрозумієте внутрішні механізми на основі MD5-хеша. Також розділ пояснює роботу з віддаленими сховищами DVC (remotes), відмінними від віддалених Git, і показує, як їх додавати, перелічувати та змінювати. Насамкінець ви навчитеся взаємодіяти з такими сховищами: виконувати push і pull даних, переходити на конкретні версії (checkout) та завантажувати дані в кеш (fetch).

Exercise 1: Налаштування та ініціалізація DVC Exercise 2: Налаштування DVC Exercise 3: Шаблони .dvcignore Exercise 4: Кеш DVC і проміжні файли Exercise 5: Робота з кешем DVC Exercise 6: Розуміння файлів .dvc Exercise 7: Налаштування DVC Remotes Exercise 8: Призначення віддалених сховищ DVC Exercise 9: Налаштуйте DVC Remote Exercise 10: Взаємодія з DVC remotes Exercise 11: Керування версіями даних за допомогою DVC Remote Exercise 12: Перемикання між версіями даних

Цей розділ зосереджено на автоматизації ML-конвеєрів за допомогою DVC. Ви створите файл конфігурації з налаштуваннями та гіперпараметрами. Також ви дізнаєтеся про візуалізацію конвеєрів за допомогою орієнтованих ациклічних графів і використаєте команди для опису залежностей, команд і результатів. Розглянуто виконання конвеєрів DVC, зокрема локальне навчання моделей і те, як Git відстежує метадані DVC. Додатково ви дослідите відстеження метрик і графіків у DVC: як виводити метрики, створювати файли графіків і порівнювати метрики та графіки на різних етапах конвеєра.

Exercise 1: Організація коду та рефакторинг Exercise 2: Розуміння файлів параметрів у DVC Exercise 3: Створіть файл параметрів Exercise 4: Створення й візуалізація конвеєрів DVC Exercise 5: Проєктування конвеєра DVC Exercise 6: Візуалізація конвеєра DVC Exercise 7: Виконання конвеєрів DVC Exercise 8: Поняття виконання конвеєрів DVC Exercise 9: Запустіть конвеєр тренування ML‑моделі Exercise 10: Оцінювання: метрики та графіки в DVC Exercise 11: Відстеження метрик у DVC Exercise 12: Додавання графіків до dvc.yaml Exercise 13: Вітаємо!