Практика керування версіями даних

Data Version Control (DVC) надає системний підхід до версіонування даних — критично важливого аспекту, про який часто забувають. Завдяки DVC ви можете точно відстежувати зміни у своїх наборах даних, що забезпечує відтворюваність, зручну співпрацю та простіше усунення несправностей. Це ваш захист від проблем, пов'язаних із даними, який підвищує довіру та ефективність у проєктах, керованих даними.

У цій вправі ви попрактикуєте ініціалізацію проєкту DVC і версіонування набору даних. Git для цього проєкту вже ініціалізовано.

Ця вправа є частиною курсу

CI/CD для машинного навчання

Переглянути курс

Практична інтерактивна вправа

Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ

Почати вправу

Ця вправа є частиною курсу

CI/CD для машинного навчання

SkillTag.level.advancedSkillTag.label

4.8+

Почніть курс безкоштовно

У цьому розділі ви розглянете основні принципи Continuous Integration/Continuous Delivery (CI/CD) і YAML. Ви зрозумієте життєвий цикл розробки ПЗ та ключові терміни, як-от build, test і deploy. Дізнайтеся про відмінності між Continuous Integration, Continuous Delivery та Continuous Deployment. Крім того, ви дослідите значення CI/CD у машинному навчанні та під час експериментів.

Exercise 1: Вступ до Continuous Integration/Continuous Delivery для машинного навчання Exercise 2: Continuous deployment і delivery Exercise 3: Робочий процес машинного навчання Exercise 4: Вступ до YAML Exercise 5: Синтаксис YAML Exercise 6: Відповідності та послідовності в YAML Exercise 7: Вступ до GitHub Actions Exercise 8: Корисність GitHub Actions Exercise 9: Будова GitHub Actions

Підготуйтеся дослідити GitHub Actions (GHA) — потужну платформу для виконання робочих процесів CI/CD. Розкрийте різні компоненти GHA: events, actions, jobs, steps, runners і context. Зрозумійте, як створювати workflows, що активуються подіями на кшталт push і pull request, та налаштовувати runner-машини. Пориньте в практику: налаштуйте базові CI-конвеєри та розберіться з особливостями журналу GHA.

Exercise 1: Середній рівень YAML Exercise 2: Знайдіть правильну комбінацію Exercise 3: Спроєктуйте workflow для безперервної інтеграції Exercise 4: Налаштування базового CI-конвеєра Exercise 5: Інтерпретуйте workflow GitHub Actions Exercise 6: Напишіть workflow GitHub Actions Exercise 7: Запуск коду з репозиторію Exercise 8: Фічеві гілки в моделі спільного репозиторію Exercise 9: Запуск коду Python у GitHub Actions Exercise 10: Змінні середовища та секрети Exercise 11: Що таке GITHUB_TOKEN?Exercise 12: Робота зі змінними середовища Exercise 13: Робота з секретами

У цьому розділі ви інтегруєте навчання моделей машинного навчання в конвеєр GitHub Actions за допомогою Continuous Machine Learning GitHub Action. Ви згенеруєте розгорнутий markdown-звіт із метриками моделі та графіками. Також ви заглибитеся у версіонування даних у машинному навчанні, застосувавши Data Version Control (DVC) для відстеження змін у даних. Розділ також охоплює налаштування віддалених сховищ DVC (remotes) і передавання наборів даних. Нарешті, ви дослідите конвеєри DVC, налаштувавши YAML-файл DVC для оркестрації відтворюваного навчання моделей.

Exercise 1: Навчання моделі з GitHub Actions Exercise 2: Розробіть модель класифікації Exercise 3: Навчіть модель класифікації Exercise 4: Налаштуйте тренування моделі за допомогою CML Exercise 5: Керування версіями наборів даних за допомогою Data Version Control Exercise 6: Навіщо потрібні файли .dvc?Exercise 7: Практика керування версіями даних

Поточна вправа

Exercise 8: Взаємодія з віддаленими сховищами DVC Exercise 9: Переваги віддалених сховищ DVC Exercise 10: DVC remotes у дії Exercise 11: DVC Pipelines Exercise 12: Створення конвеєра DVC Exercise 13: Тренування моделей ML за допомогою DVC

У цьому розділі ви зосередитеся на аналізі продуктивності моделі та тонкому налаштуванні гіперпараметрів. Ви набудете практичних навичок порівняння метрик і візуалізацій у різних гілках, щоб оцінювати зміни в роботі моделі. Ви виконуватимете підбір гіперпараметрів за допомогою GridSearchCV із пакета scikit-learn. Крім того, ви розглянете автоматизацію pull request, використовуючи оптимальну конфігурацію моделі.

Exercise 1: Порівняння метрик і графіків у DVC Exercise 2: Додавання метрик і графіків до dvc.yaml Exercise 3: Порівняння метрик у гілках Git Exercise 4: Запустіть конвеєр DVC у GitHub Actions Exercise 5: Тюнінг гіперпараметрів із DVC Exercise 6: Додавання налаштування гіперпараметрів до dvc.yaml Exercise 7: Запуск конвеєрів DVC для налаштування гіперпараметрів Exercise 8: Робочий процес GitHub Actions для підбору гіперпараметрів Exercise 9: Слабке зчеплення Exercise 10: Налаштуйте підбір гіперпараметрів у GitHub Actions Exercise 11: Вітаємо!